生成モデル
- yhayato1320.hatenablog.com

Index

Index
エネルギーベースモデル / Energy Based Model / EBM
- エネルギー関数
- 分配関数
メリット / デメリット
- メリット
- デメリット
学習方法
- MCMC 法
- スコアベースモデル
応用
- Restricted Boltzmann Machine / RBM
参考
- 書籍
- Web サイト

エネルギーベースモデル / Energy Based Model / EBM

データ $x\ \in\ X$ の生成モデルの確率分布 $q_{\theta} (x)$ は、次のように表現したとする.

$\begin{eqnarray} q_{\theta} (x)\ &=&\ \displaystyle \frac{\gamma_{\theta} (x)}{Z(\theta)} \\ \\ Z(\theta)\ &=&\ \displaystyle \int_{x'\ \in\ X}\ \gamma_{\theta} (x')\ dx' \end{eqnarray}$

非負関数 $\gamma_{\theta} (x)\ >\ 0$ : 非正規化・確率密度関数

確率密度関数は、とれるすべての確率変数の確率の合計は $1$ であるが、、
yhayato1320.hatenablog.com

$Z(\theta)\ >\ 0$ : 正規化定数 / パラメータを入力とした分配関数

とりうるすべてのデータ $x\ \in\ X$ について積分を取った値
$q_{\theta} (x)$ が確率密度関数となる条件を満たすように、 $q_{\theta} (x)$ のデータ全体にわたっての積分を 1 とする役割

また、統計力学との関連性から非正規化確率密度関数をエネルギー関数 $f(x;\ \theta)\ :\ R^{d}\ \rightarrow\ R$ を使って $\gamma_{\theta} (x)\ =\ \exp(-\ f_{\theta} (x))$ と表した確率モデルをエネルギーベースモデルとよぶ.

$\begin{eqnarray} q_{\theta} (x)\ &=&\ \displaystyle \frac{\exp(-\ f_{\theta} (x))}{Z(\theta)} \\ \\ Z(\theta)\ &=&\ \displaystyle \int_{x'\ \in\ X}\ \exp(-\ f_{\theta} (x')\ dx' \end{eqnarray}$

エネルギー関数

エネルギー関数には、非負制約はない. (結局、exp で正の値になる.)

ベクトルを入力として、スカラーになる関数.

状態を入力して、エネルギー値になるようなイメージ？

分配関数

分配関数は、とりうるすべてのデータについての積分が必要であるため、一般に計算が困難.

メリット / デメリット

メリット

エネルギーベースモデルは、次元間の任意の関係をエネルギー関数内で、自由に記述できる.

また、エネルギー関数は、確率分布としての制約がなく、自由な値を取ることができる.

デメリット

分配関数を求める必要がでてくる.

学習方法

尤度ベースモデルの考え方.

尤度ベースモデル
- yhayato1320.hatenablog.com

次の目的関数 $L(\theta)$ を最大化することを考える.

$\begin{eqnarray} L({\theta})\ &=&\ \frac{1}{N}\ \log q_{\theta} (D) \\ \\ &=&\ \frac{1}{N}\ \log\ \displaystyle \prod_{i}\ q_{\theta} (x^{(i)}) \\ &\because&\ 尤度は、各データの確率の積 \\ \\ &=&\ \frac{1}{N}\ \displaystyle \sum_{i}\ \log\ q_{\theta} (x^{(i)}) \\ \\ &=&\ \frac{1}{N}\ \displaystyle \sum_{i} \log\ \left\{ \frac{\exp(-\ f_{\theta} (x^{i}))}{Z(\theta)} \right\} \\ &\because&\ q_{\theta}(x)\ =\ \displaystyle \frac{\exp(-\ f_{\theta} (x))}{Z(\theta)} \\ \\ &=&\ \frac{1}{N}\ \displaystyle \sum_{i} \left\{ \log\ \exp(-\ f_{\theta} (x^{i}))\ -\ \log\ Z(\theta) \right\} \\ \\ &=&\ \frac{1}{N}\ \displaystyle \sum_{i} \left\{ -\ f_{\theta} (x^{i}) \right\}\ -\ \log\ Z(\theta) \\ \\ &=&\ - \frac{1}{N}\ \displaystyle \sum_{i} \left\{ f_{\theta} (x^{i}) \right\}\ -\ \log\ \displaystyle \int_{x^{'}\ \in\ X} \exp (-f_{\theta} (x^{'}))\ dx^{'} \\ \end{eqnarray}$