【深層学習】Auto Regression Model / 自己回帰モデル #まとめ編 #01

• Transformer #まとめ編

  • yhayato1320.hatenablog.com
    
    

• Auto Regression Model #まとめ編

  • yhayato1320.hatenablog.com

Index

Transformer-Decoder

「GPT-2」のように、Transformer の Decoder 部分を重ねた構造のモデルを「Auto Regression Model / 自己回帰モデル」 と呼ぶ. 得意なタスクは「テキスト生成」.

ニューラル言語モデルをベースにしている.

• 言語モデル / Language Model
  • yhayato1320.hatenablog.com

アルゴリズム

GPT / 2018 -

• GPT
  • Generative Pre-Training
  • yhayato1320.hatenablog.com

CTRL / 2019

• CTRL
  • [2019]
  • CTRL: A Conditional Transformer Language Model for Controllable Generation
  • arxiv.org

Transformer-XL / 2019

• Transformer-XL
  • Transformer Extra Large
  • yhayato1320.hatenablog.com

XLNet / 2019

• XLNet
  • Transformer-XL の事前学習を導入
  • yhayato1320.hatenablog.com

Reformer / 2020

• Reformer
  • yhayato1320.hatenablog.com