オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】Pre Training / Fine Turning

【深層学習】Pre Training / Fine Turning

データサイエンス データサイエンス-深層学習

Index

Pre Training / Fine Turning

深層学習の精度向上・マルチタスクのテクニックとして、Pre Training (事前学習) / Fine Turning がある.

Pre Training

日本語で、事前学習と訳されており、 教師データを必要としない自己教師あり学習を用いて、大規模なデータセットで学習する.

自然言語処理 / NLP で、この手法がいち早く導入されており、研究が盛んである.

その中でも、注目されているのは、Transformer というアルゴリズム.

マルチモーダル

自然言語から画像系のタスクのための Pre Traing を行う手法.

画像

Masked AutoEncoders / MAE / 2021

Fine Turning

事前学習が完了したモデルパラメータの一部を、初期のパラメータに利用して、 特定のタスクに特化した学習を行うのがFine Truningである.

特徴量の取得・解析に事前学習で学習した情報を利用できるため、学習収束の高速化や精度向上が期待できる.

Parameter Efficient Fine Tuning / PEFT

LoRA / 2021

LLMの微調整において重みの差分のみを訓練対象とし、 差分重みを低ランク分解することで訓練パラメータ数を削減する方法であるLoRAを提案.

精度低下なしで時空間計算量とチェックポイントのサイズを削減できる.



  • LoRA: Low-Rank Adaptation of Large Language Models

  • AI を自分好みに調整できる、追加学習まとめ ( その５: LoRA)

  • 低ランク行列近似によるLLMの計算効率化手法

  • 【インターンレポート】6.7B日本語モデルに対するLoRAチューニング

  • LoRA: Low-Rank Adaptation of
Large Language Models

応用

参考

書籍