- 深層学習 #まとめ編
Index
Dataset Distillation / データセット蒸留
Dataset Distillation / データセット蒸留は、オリジナルとなる大規模なデータセットから
上手に、必要な情報のみを抽出した少量のデータセットを生成する.
そして、その生成したデータセットでモデルを学習することで学習コストを抑えたり、
データセットの蓄積・共有を容易にすることを目的とする.
Knowledge Distillation のひとつ.
「大規模な元データで学習したモデル」と同じくらいの精度を
「少ない生成された効率的なデータで学習したモデル」で達成することが目的.
- データセット
- 元 dataset : もしくは、
- 生成した dataset :
- Neural Net Parameter :
- 初期パラメータ
- Algorithm (Function) :
- Loss Function : もしくは、
- inner-level で得たパラメータを持つ NN をオリジナルのデータセット に適用したときの損失
- 損失の期待値 :
- : パラメータ空間
損失の期待値である を最小化するようなデータセット (outer-level) を生成できればよい.
FRePo / 2022
上の を求めるためのプロセスにおける課題.
- outer-level を解くために、inner-level の勾配 (メタ勾配 : ) を求める必要があり、計算コストとメモリが膨大
少量の生成データに対して、モデルパラメータの学習を行うため過学習しやすい
FRePo
PRO2 / 2023
- Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features
- [2023]
- arxiv.org
参考
- Dataset Distillation
- [2018]
- 2 RELATED WORK
- Knowledge distillation
- arxiv.org
- Dataset Distillation: A Comprehensive Review
- [2023]
- 2 RELAED WORKS
- 2.1 Knowledge Distillation
- 2.3 Generative Model
-
- arxiv.org