Pre Trained Model / 事前学習モデル
自然言語処理の(特に DeepLearning を使った) 手法に使われる学習方法.
- Pre Training
工夫・テクニック
Hierarchical Domain Adaptation / 2021
ドメインが重なり、粒度の度合いが異なるという仮説に基づいている.
テキストドメインを記述するための階層構造を開発し、ドメイン固有の情報と一般ドメイン情報の両方を捉えることを可能にした.
提案された手法は、N個のドメインでPLMを簡単に専門化できると主張し、無関係なドメインからの負の転送を回避する.
GPT-2からの表現とガウス混合モデル（GMM）および階層的クラスタリングを使用して、階層構造を教師なしで推論.
Efficient Hierarchical Domain Adaptation for Pretrained Language Models
- [2021]
- arxiv.org
- github.com
AI2 Introduces Efficient Hierarchical Domain Adaptation for Pretrained Language Models
AdaLoRA / 2023
事前学習モデルをダウンストリームタスクに、適用させる工夫.
- Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
- [2023]
- arxiv.org
参考
- Pre-trained Models for Natural Language Processing: A Survey
- [2020]
- arxiv.org
Web サイト
- BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編
