- まとめ編一覧
Index
リカレントニューラルネットワーク / RNN
深層学習の利用されるアーキテクチャのひとつ.
- 深層学習 #まとめ編
RNN
RNN #アルゴリズム編
RNN #実装編
LSTM
GRU
RWKV
SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks
- [2023]
- arxiv.org
RNNでTransformer並みの性能を実現するRWKVがやばい
Google Colab で RWKV-LoRA のファインチューニングを試す
The RWKV Language Model (and my LM tricks)
改善・工夫手法
双方向セル
研究
- Resurrecting Recurrent Neural Networks for Long Sequences
- [2023]
- arxiv.org
参考
- ゼロから作るDeep Learning 2
- 3 word2vec
- 4 word2vec の高速化
- 5 リカレントニューラルネットワーク (RNN)
- 6 ゲート付き RNN
- 7 RNN による文章生成