オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【自然言語処理】アルゴリズム #まとめ編 #02

Index

自然言語処理におけるアルゴリズム

自然言語処理における深層学習を用いたアルゴリズムを記す.

DNN

Word2Vec

自然言語に初期に深層学習が導入された手法.

RNN / 1986 ★

DNN から RNN へ、より自然言語に寄り添った形へ進化.

LSTM / 1997

RNN の「長期的な情報の重要度が下がる」という課題を改善.

GRU / 2014

ELMo / 2018

順方向と逆方向のそれぞれ2層のLSTM.

Attention

seq2seq / 2014

自然言語の処理に Encoder-Decoder の仕組みを導入した.

Encoder / Decoder は、RNN など.

Source Target Attention / 2015 ★

Encoder / Decoder に Attention を導入した.

Transformer / 2017 ★

Source Target Attention を拡充した.

BERT / 2018 ★

Transformer Encoder を利用.

GPT / 2018 - ★

Transformer Decoder を利用.

テクニック・工夫

Large Language Model / LLM

kNN-LM / 2023

参考

書籍

Web サイト

  • 最近、人工知能による自然言語処理が爆発的に進化しているのでまとめてみた。【前編】

  • 最近、人工知能による自然言語処理が爆発的に進化しているのでまとめてみた。【中編】

    • 3 大規模言語モデルの開発
      • 3.1 言語モデルBERTの改良
        • MT-DNN
        • XLNet
        • RoBERTa
        • ALBERT
        • T5
        • ELECTRA
        • ERNIE
      • 3.2 Transformerの改良
        • 3.2.1 Efficient Transformers
          • XLNet
          • Sparse Transformer
          • Reformer
          • LongFormer
          • BigBird
          • Memory Compressed Transformer
          • Image Transformer
          • Set Transformer
          • Axial Transformer
          • ETC
          • Routing Transformer
          • Sinkhorn Transformer
          • Linformer
          • Synthesizer
          • Performer
          • Linear Transformer
          • Compressive Transformer
          • Perceiver
        • 3.2.2 Attentionは不要?
          • ViT
          • MLP-Mixer
          • PoolFormer
      • 3.3 GPT
      • 3.4 大規模言語モデルの開発競争
        • 3.4.1 GoogleのSwitch Transformerなど
          • GShard
          • Switch Transformer
        • 3.4.2 中国の悟道2.0とM6
          • WuDao2.0
          • M6
        • 3.4.2 MicrosoftNVIDIAのMT-NLG
          • MT-NLG
        • 3.4.3 DeepMindのChinchillaなど
        • 3.4.4 GooglePaLM
        • 3.4.5 MetaのNLLB-200など
          • OPT-175B
          • NLLB-200
        • 3.4.6 その他の大規模言語モデル
          • HyperCLOVA
          • Jurassic-1
      • 3.5 大規模言語モデルの課題
        • 3.5.1 常識推論能力
          • LaMDA
    • note.com