Index

Index
変分推論法 / 変分ベイズ法
- 目的
- 近似
参考
- 書籍
- Web サイト

変分推論法 / 変分ベイズ法

変分推定 (法) / Variational Inference・変分ベイズ (法) / Variational Bayes

近似推論法
- yhayato1320.hatenablog.com

確立分布を近似的に求める手法のひとつ.

目的

ベイズ識別のような事前確立を導入された事後分布の近似などに利用されることが多い.

ベイズ識別
- yhayato1320.hatenablog.com

$f_{\theta}\ \colon\ x\ \rightarrow\ D$ への写像

始域 : $x$
終域 : $D\ =\ \{t\ |\ t\ \in\ R^{N}\}$ / 次元 $N$ のデータ集合

事前分布 : $p(x)$

表現変数 $x$ に関してという意味で、 $p(x)$ と表したり、
潜在変数 $p(z)$ に関してという意味で、 $p(z)$ と表したり、
写像のパラメータ $w$ や、 $\theta$ に関してという意味で、 $p(w)$ や $p(\theta)$ と表したりする.
表現変数や潜在変数は、正規分布に従うと考えることが多い.

尤度 : $p(D|x)$

表現変数 / 潜在変数 / パラメータが、決定したときに、
データ・観測点がどれだけ、適切か・納得するか

事後分布 : $p(x|D)$

事前分布と尤度から、求めたい情報

近似するため分布 $q(x)$ を設定して、これを (真の) 事後分布 $p^{*}(x)\ \triangleq\ p(x|D)$ に近似させることで、事後分布を求める.

近似

近似することに成功した分布を $\hat{q} (x)$ とすると、近似するための条件式を以下のようにする.

$\hat{q} (x)\ =\ \DeclareMathOperator*{\argmin}{arg\,min} \displaystyle \argmin_{q(x)}\ D_{KL} (q(x)\ ||\ p^{*}(x))$

$D_{KL}$ は KL divergence.

KL divergence
- yhayato1320.hatenablog.com

そこで、上の式にベイズの定理を適用しながら、展開していくことを考える.

ベイズの定理

$p(D|x)\ p(x)\ =\ p(x,\ D)\ =\ p(x|D)\ p(D)$

$J(q)\ =\ D_{KL}(q(x)\ ||\ p^{*}(x))$

として、上の式を展開していくと. . .

$\begin{array}{ccc} D_{KL}(q(x)\ ||\ p^{*}(x))&\ =\ &D_{KL} (q(x)\ ||\ p^{*}(x)) & \\ & & & KL divergence \\ &\ =\ &\displaystyle \int q(x)\ \log \displaystyle \frac{q(x)}{p(x|D)} dx & \\ & & & log ひっくり返してマイナス \\ &\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{p(x|D)}{q(x)} dx & \\ & & & p(x\ |\ D)\ =\ \displaystyle \frac{p(x,\ D)}{p(D)} \\ &\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{1}{q(x)} \displaystyle \frac{p(x,\ D)}{p(D)} dx & \\ & & & p(x,\ D) 移動 \\ &\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)} \displaystyle \frac{1}{p(D)} dx & \\ & & & \log 分解 \\ &\ =\ &\displaystyle - \int q(x) \ \left\{ \log \displaystyle \frac{p(x,\ D)}{q(x)} - \log p(D) \right\}dx & \\ & & & 分配法則 \\ &\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)} \ -\ q(x)\ \log p(D)\ dx \\ & & & 積分分解 \\ &\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)}\ dx \\ & &\ +\ \displaystyle \int q(x)\ dx\ \cdot\ \log p(D) \\ & & & \displaystyle \int q(x)\ dx\ =\ 1 \\ &\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)}\ dx\ +\ \log p(D) \\ \end{array}$