Index
自然言語処理におけるアルゴリズム
深層学習 #まとめ編
DNN
Word2Vec
自然言語に初期に深層学習が導入された手法.
- Word2Vec
RNN / 1986 ★
DNN から RNN へ、より自然言語に寄り添った形へ進化.
LSTM / 1997
RNN の「長期的な情報の重要度が下がる」という課題を改善.
GRU / 2014
ELMo / 2018
順方向と逆方向のそれぞれ2層のLSTM.
Attention
seq2seq / 2014
自然言語の処理に Encoder-Decoder の仕組みを導入した.
Encoder / Decoder は、RNN など.
- seq2seq
Source Target Attention / 2015 ★
Encoder / Decoder に Attention を導入した.
- Attention
Transformer / 2017 ★
Source Target Attention を拡充した.
- Transformer #まとめ編
BERT / 2018 ★
Transformer Encoder を利用.
GPT / 2018 - ★
Transformer Decoder を利用.
- GPT
- GPT-1 [2018 OpenAI]
- GPT-2 [2019 OpenAI]
- GPT-3 [2020 OpenAI]
- yhayato1320.hatenablog.com
テクニック・工夫
Large Language Model / LLM
- Large Language Model / LLM
kNN-LM / 2023
- Why do Nearest Neighbor Language Models Work?
- [2023]
- arxiv.org
- ai.papers.bar
参考
書籍
深層学習による自然言語処理
ゼロから作るDeep Learning 2
- 1 ニューラルネットワークの復習
- 2 自然言語処理と単語の分散表現
- 3 word2vec
- 4 word2vec の高速化
- 5 リカレントニューラルネットワーク (RNN)
- 6 ゲート付き RNN
- 7 RNN による文章生成
- 8 Attention
-
BERTによる自然言語処理入門
- 2 ニューラルネットワークを用いた自然言語処理
- 3 BERT
-
コンピュータービジョン最前線 Winter 2021
Web サイト
最近、人工知能による自然言語処理が爆発的に進化しているのでまとめてみた。【中編】
- 3 大規模言語モデルの開発
- 3.1 言語モデルBERTの改良
- MT-DNN
- XLNet
- RoBERTa
- ALBERT
- T5
- ELECTRA
- ERNIE
- 3.2 Transformerの改良
- 3.2.1 Efficient Transformers
- XLNet
- Sparse Transformer
- Reformer
- LongFormer
- BigBird
- Memory Compressed Transformer
- Image Transformer
- Set Transformer
- Axial Transformer
- ETC
- Routing Transformer
- Sinkhorn Transformer
- Linformer
- Synthesizer
- Performer
- Linear Transformer
- Compressive Transformer
- Perceiver
- 3.2.2 Attentionは不要?
- ViT
- MLP-Mixer
- PoolFormer
- 3.2.1 Efficient Transformers
- 3.3 GPT
- 3.4 大規模言語モデルの開発競争
- 3.5 大規模言語モデルの課題
- 3.5.1 常識推論能力
- LaMDA
- 3.5.1 常識推論能力
- 3.1 言語モデルBERTの改良
- note.com
- 3 大規模言語モデルの開発