Index

FRePo

Dataset Distillation の手法のひとつ.

Dataset Distillation / データセット蒸留は、オリジナルとなる大規模なデータセットから上手に、必要な情報のみを抽出した少量のデータセットを生成する.

そして、その生成したデータセットでモデルを学習することで学習コストを抑えたり、データセットの蓄積・共有を容易にすることを目的とする.

元 dataset : $x\ =\ \{\ x_{i}\ \}_{i=1}^{N}$ もしくは、 $T\ =\ \{\ (x_{i},\ y_{i})\ \}_{i=1}^{|T|}$
生成した dataset : $S$

$F(S)\ =\ E_{\theta\ \sim\ P_{\theta}}\ \left[\ L\ (\ Alg\ (\ \theta,\ S\ ),\ T) \ \right]$

$S^{*}\ =\ \DeclareMathOperator*{\argmin}{arg\,min} \displaystyle \argmin_{S}\ F(S)$

損失の期待値である $F(S)$ を最小化するようなデータセット $S^{*}$ (outer-level) を生成できればよい.

上の $S^{*}$ を求めるためのプロセスにおける課題.

outer-level を解くために、inner-level の勾配 (メタ勾配 : $\nabla_{S}$ ) を求める必要があり、計算コストとメモリが膨大
少量の生成データに対して、モデルパラメータの学習を行うため過学習しやすい

1 の課題に対しては、メタ勾配の計算においては、 NN の特徴量抽出部分は、固定して、最終層 (線形分類器) のパラメータのみを対象とする

2 の課題に対しては、[tex: P{\theta}] からランダムに初期化したモデルのプール (候補) [tex: { \theta{i} }_{i=1}^{m}] を作成し、そのプールからメタ勾配計算とその更新タイミングごとにサンプリングを行う.