Index

尤度ベースモデル

生成モデルの学習方法の一つ.

与えられたデータ $x$ の生成確率 $q_{theta}(x)$ を尤度として、訓練データの尤度が最も大きくなるパラメータ $\theta$ を求めることで、パラメータを推定する.

訓練データセット $D\ =\ \{x^{(1)},\ \cdots,\ x^{(N)}\}$ の尤度は、データが互いに独立にサンプリングされているので、各データの尤度の積として定義される.

$q_{\theta}\ (D)\ =\ \displaystyle \prod_{i}\ q_{\theta}(x^{(i)})$

最適化問題として扱いやすいように、その対数をとった対数尤度 $L(\theta)$ は、

$L(\theta)\ =\ \log\ q_{\theta} (D)\ =\ \displaystyle \sum_{i}\ \log\ q_{\theta} (x^{(i)})$

と定義される.

最尤推定は、対数尤度を最大にするようなパラメータ $\theta^{*}_{ML}$ を求めることでパラメータを推定する.

$\theta^{*}_{ML}\ =\ arg \max_{\theta}\ L(\theta)$

VAE、自己回帰モデル、正規化フローモデル、エネルギーベースモデルといった生成モデルが尤度ベースも出るである.