オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】リカレントニューラルネットワーク #まとめ編

【深層学習】リカレントニューラルネットワーク #まとめ編

データサイエンス データサイエンス-深層学習

Index

リカレントニューラルネットワーク / RNN

深層学習の利用されるアーキテクチャのひとつ.

RNN

LSTM

GRU

RWKV

  • SpikeGPT: Generative Pre-trained Language Model with Spiking Neural Networks

  • RNNでTransformer並みの性能を実現するRWKVがやばい

  • Google Colab で RWKV-LoRA のファインチューニングを試す

  • The RWKV Language Model (and my LM tricks)

  • 従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？

改善・工夫手法

双方向セル

損失関数

Connectionist Temporal Classification Loss / CTC Loss / 2006

研究

  • Resurrecting Recurrent Neural Networks for Long Sequences

参考