【自然言語処理】アルゴリズム #まとめ編 #02

Index

自然言語処理におけるアルゴリズム

自然言語処理における深層学習を用いたアルゴリズムを記す.

• 自然言語処理 アルゴリズム #まとめ編

  • 機械学習を用いたアルゴリズム
  • yhayato1320.hatenablog.com
    
    

• 深層学習 #まとめ編

  • yhayato1320.hatenablog.com

DNN

Word2Vec

自然言語に初期に深層学習が導入された手法.

• Word2Vec
  • yhayato1320.hatenablog.com

RNN / 1986 ★

DNN から RNN へ、より自然言語に寄り添った形へ進化.

• RNN
  • yhayato1320.hatenablog.com

LSTM / 1997

RNN の「長期的な情報の重要度が下がる」という課題を改善.

• LSTM
  • yhayato1320.hatenablog.com

GRU / 2014

• GRU
  • yhayato1320.hatenablog.com

ELMo / 2018

順方向と逆方向のそれぞれ2層のLSTM.

• ELMo
  • yhayato1320.hatenablog.com

Attention

seq2seq / 2014

自然言語の処理に Encoder-Decoder の仕組みを導入した.

Encoder / Decoder は、RNN など.

• seq2seq
  • yhayato1320.hatenablog.com

Source Target Attention / 2015 ★

Encoder / Decoder に Attention を導入した.

• Attention
  • yhayato1320.hatenablog.com

Transformer / 2017 ★

Source Target Attention を拡充した.

• Transformer #まとめ編
  • yhayato1320.hatenablog.com

BERT / 2018 ★

Transformer Encoder を利用.

• BERT
  • yhayato1320.hatenablog.com
    
    

GPT / 2018 - ★

Transformer Decoder を利用.

• GPT
  • GPT-1 [2018 OpenAI]
  • GPT-2 [2019 OpenAI]
  • GPT-3 [2020 OpenAI]
  • yhayato1320.hatenablog.com

テクニック・工夫

Large Language Model / LLM

• Large Language Model / LLM
  • yhayato1320.hatenablog.com

kNN-LM / 2023

• Why do Nearest Neighbor Language Models Work?
  • [2023]
  • arxiv.org
  • ai.papers.bar

参考

書籍

• 深層学習による自然言語処理

  • 2 ニューラルネットの基礎
    • 2.6 再帰ニューラルネット
    • 2.7 ゲート付再帰ニューラルネット
    • 2.8 木構造再帰ニューラルネット
    • 2.9 畳み込みニューラルネット
  • 4 言語処理特有の深層学習の発展
    • 4.1 注意機構
    • 4.2 記憶ネットワーク

  • 深層学習による自然言語処理 (機械学習プロフェッショナルシリーズ)

    
    
    

• ゼロから作るDeep Learning 2

  • 1 ニューラルネットワークの復習
  • 2 自然言語処理と単語の分散表現
  • 3 word2vec
  • 4 word2vec の高速化
  • 5 リカレントニューラルネットワーク (RNN)
  • 6 ゲート付き RNN
  • 7 RNN による文章生成
  • 8 Attention

  • ゼロから作るDeep Learning ❷ ―自然言語処理編

    
    
    

• 生成 Deep Learning

  • 6 書く
    • 6.2 LSTM ネットワーク
    • 6.5 RNN の拡張
      • 6.5.2 GRU
      • 6.5.3 双方向セル
    • 6.6 エンコーダ - デコーダモデル
  • 9 生成モデリングの未来
    • 9.2 トランスフォーマ
      • 9.2.5 BERT
      • 9.2.6 GPT-2
  • 11 GPT-3

  • 生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする

    
    
    

• BERTによる自然言語処理入門

  • 2 ニューラルネットワークを用いた自然言語処理
    • 2.1 トークン化と前処理
    • 2.2 ニューラル言語モデル
    • 2.3 Word2Vec
    • 2.4 ELMo
    • 2.2 ニューラル言語モデル
  • 3 BERT

  • BERTによる自然言語処理入門 ―Transformersを使った実践プログラミング―

    
    
    

• コンピュータービジョン最前線 Winter 2021

  • 5 ニュウモン Vision and Language
    • 5.3 V&L を支える基礎技術
      • 5.3.2 V&L のための自然言語処理手法

  • コンピュータビジョン最前線 Winter 2021

Web サイト

• 最近、人工知能による自然言語処理が爆発的に進化しているのでまとめてみた。【前編】

  • note.com
    
    

• 最近、人工知能による自然言語処理が爆発的に進化しているのでまとめてみた。【中編】

  • 3 大規模言語モデルの開発
    • 3.1 言語モデルBERTの改良
      • MT-DNN
      • XLNet
      • RoBERTa
      • ALBERT
      • T5
      • ELECTRA
      • ERNIE
    • 3.2 Transformerの改良
      • 3.2.1 Efficient Transformers
        • XLNet
        • Sparse Transformer
        • Reformer
        • LongFormer
        • BigBird
        • Memory Compressed Transformer
        • Image Transformer
        • Set Transformer
        • Axial Transformer
        • ETC
        • Routing Transformer
        • Sinkhorn Transformer
        • Linformer
        • Synthesizer
        • Performer
        • Linear Transformer
        • Compressive Transformer
        • Perceiver
      • 3.2.2 Attentionは不要？
        • ViT
        • MLP-Mixer
        • PoolFormer
    • 3.3 GPT
    • 3.4 大規模言語モデルの開発競争
      • 3.4.1 GoogleのSwitch Transformerなど
        • GShard
        • Switch Transformer
      • 3.4.2 中国の悟道2.0とM6
        • WuDao2.0
        • M6
      • 3.4.2 MicrosoftとNVIDIAのMT-NLG
        • MT-NLG
      • 3.4.3 DeepMindのChinchillaなど
        • Gopher
        • Chinchilla
      • 3.4.4 GoogleのPaLM
      • 3.4.5 MetaのNLLB-200など
        • OPT-175B
        • NLLB-200
      • 3.4.6 その他の大規模言語モデル
        • HyperCLOVA
        • Jurassic-1
    • 3.5 大規模言語モデルの課題
      • 3.5.1 常識推論能力
        • LaMDA
  • note.com