オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】Transfer Learning / 転移学習 #まとめ編 #00

【深層学習】Transfer Learning / 転移学習 #まとめ編 #00

データサイエンス データサイエンス-深層学習

Index

Transfer Learning / 転移学習

「ある領域の学習」で得た知識を「別の領域の学習」に利用するアイディア.

メリット

メリット デメリット
  1. 限られたデータから高精度なモデルを作成できる.
  2. 短時間でモデルを学習できる.
  1. 知識を転移することで、精度が悪化する場合もある. (負の転移 / Negative Transfer)

カテゴリ

A Comprehensive Survey on Transfer Learning

Inductive Transfer Learning / 帰納的転移学習

ソースタスクとターゲットタスクが異なる場合の設定. ターゲット領域には少量でもラベル付きデータが存在し (例: ImageNetで学習済みモデルを犬猫分類にFine Tuning）、ソースの知識をターゲットタスクの性能向上に利用するケース. これは典型的な Fine Tuning の状況で、Self-Taught Learning もこの一種とみなされる.

Transductive Transfer Learning / 推論的転移学習

ソースタスクとターゲットタスクは同一だが、ドメイン (データ分布) が異なる場合. ターゲット側にラベルがなく (ソースのみラベル有り）、ドメイン適応によってソースで学んだモデルをターゲットドメインに適用する. 例えば、合成画像で学習した物体検出器を実写画像に適応させるケースなどが該当.

Unsupervised Transfer Learning / 教師なし転移学習

ターゲット側のタスク自体がラベル不要の未教師ありタスクの場合 (例: ソースでの教師あり学習知識を使って、ターゲットでクラスタリングや異常検知を改善). この設定ではソース・ターゲットとも明示的なラベルはなく、特徴表現の移植などが行われる.

Feature-Based Approach / 特徴抽出型

DNN の転移学習では、大規模データで事前学習した高表現力のモデルを新タスクに流用するケースが一般的.

「大規模データで鍛えたネットワークの知識」を「ターゲットタスクに適した形」で継承するのが肝要. その際、全層を再学習する Fine Tuning だけでなく、初期層は凍結して高レベル特徴のみ学習する特徴抽出型転移学習など状況に応じた戦略が取られる.

一般にはデータ量が潤沢でない場合は全体の Fine Tuning で最大性能が出やすい一方、データ極小の Few Shot Learning では過学習防止のためベースモデルを凍結し一部パラメータのみ調整するといった工夫も行われる.

その他にも

  • ドメインや特徴空間の一致程度による分類
    • Homogeneous Transfer Learning / ホモジニアス転移学習
    • Heterogeneous Transfer Learning / ヘテロジニアス転移学習

アルゴリズム

PELT / Parameter Efficient Transfer Learning / 2019

  • Parameter-Efficient Transfer Learning for NLP

Ladder Side-Tuning / LST / 2022

大規模な事前学習済みモデルの微調整におけるメモリ効率の課題について. 特に、既存のパラメーター効率の高い転移学習（PETL）手法が、更新されるパラメーター数を削減する一方で、トレーニング中のメモリ要件を大幅に削減できないという問題に焦点を当てている. これに対処するため、Ladder Side-Tuning (LST) という新しい PETL 手法を提案. LSTは、バックボーンネットワークとは別に小さなサイドネットワークをトレーニングし、バックボーンネットワークからの中間アクティベーションを「ラダー」と呼ばれるショートカット接続を介して利用. これにより、バックボーンネットワークでの逆伝播が不要となり、従来のPETL手法と比較して大幅なメモリ削減 (最大2.7倍) を実現しつつ、同等以上の精度を達成できることを、自然言語処理 (NLP) および視覚言語 (VL)タスクでの実験で示している.

  • LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning

Knowledge Transfer Network / KTH / 2022

  • Zero-shot Transfer Learning within a Heterogeneous Graph via Knowledge Transfer Networks

  • Teaching old labels new tricks in heterogeneous graphs

K-LITE / 2022

外部知識を活用して、コンピュータビジョンモデルの転送学習を改善するための新しいアプローチ. 既存のモデルが自然言語による大規模なデータセットに依存しているのに対し、K-LITEはWordNetやWiktionaryなどの構造化された知識源を利用. このアプローチにより、特に珍しい概念の認識において、モデルの汎化性能とサンプル効率が向上.

  • K-LITE: Learning Transferable Visual Models with External Knowledge

Offsite-Tuning / 2023

  • Offsite-Tuning: Transfer Learning without Full Model

タスク

物体検出

参考

Web サイト