【自然言語処理】Pre Trained Model / 事前学習モデル

• 自然言語処理 #まとめ編
  • yhayato1320.hatenablog.com

Pre Trained Model / 事前学習モデル

自然言語処理の(特に DeepLearning を使った) 手法に使われる学習方法.

• Pre Training
  • yhayato1320.hatenablog.com

工夫・テクニック

AdaLoRA / 2023

事前学習モデルをダウンストリームタスクに、適用させる工夫.

• Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
  • [2023]
  • arxiv.org

参考

• Pre-trained Models for Natural Language Processing: A Survey
  • [2020]
  • arxiv.org

Web サイト

• BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編
  • elyza-inc.hatenablog.com