オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】リカレントニューラルネットワーク #まとめ編

Index

リカレントニューラルネットワーク / RNN

深層学習の利用されるアーキテクチャのひとつ.

RNN

LSTM

GRU

RWKV

  • SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks

  • RNNでTransformer並みの性能を実現するRWKVがやばい

  • Google Colab で RWKV-LoRA のファインチューニングを試す

  • The RWKV Language Model (and my LM tricks)

改善・工夫手法

双方向セル

研究

  • Resurrecting Recurrent Neural Networks for Long Sequences

参考