オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【機械学習】変分推論法 / Variational Inference・変分ベイズ法 / Variational Bayes

Index

変分推論法 / 変分ベイズ

変数推定 (法) / Variational Inference・変分ベイズ (法) / Variational Bayes

確立分布を近似的に求める手法のひとつ.

目的

ベイズ識別のような事前確立を導入された事後分布の近似などに利用されることが多い.

  •  f_{\theta}\ \colon\ x\ \rightarrow\ D への写像

    • 始域 :  x
    • 終域 :  D\ =\ \{t\ |\ t\ \in\ R^{N}\} / 次元  N のデータ集合

  • 事前分布 :  p(x)

    • 表現変数  x に関してという意味で、 p(x) と表したり、
      潜在変数  p(z) に関してという意味で、 p(z) と表したり、
      写像のパラメータ  wや、 \theta に関してという意味で、 p(w) p(\theta) と表したりする.
    • 表現変数や潜在変数は、正規分布に従うと考えることが多い.

  • 尤度 :  p(D|x)

    • 表現変数 / 潜在変数 / パラメータが、決定したときに、
      データ・観測点がどれだけ、適切か・納得するか

  • 事後分布 :  p(x|D)

    • 事前分布と尤度から、求めたい情報



近似するため分布  q(x) を設定して、これを (真の) 事後分布  p^{*}(x)\ \triangleq\ p(x|D) に近似させることで、 事後分布を求める.

近似

近似することに成功した分布を  \hat{q} (x) とすると、近似するための条件式を以下のようにする.

 \hat{q} (x)\ =\ \DeclareMathOperator*{\argmin}{arg\,min} \displaystyle \argmin_{q(x)}\ D_{KL} (q(x)\ ||\ p^{*}(x))


 D_{KL} は KL divergence.



そこで、上の式にベイズの定理を適用しながら、展開していくことを考える.

ベイズの定理

 p(D|x)\ p(x)\ =\ p(x,\ D)\ =\ p(x|D)\ p(D)



 J(q)\ =\ D_{KL}(q(x)\ ||\ p^{*}(x))



として、上の式を展開していくと. . .


\begin{array}{ccc}
D_{KL}(q(x)\ ||\ p^{*}(x))&\ =\ &D_{KL} (q(x)\ ||\ p^{*}(x)) & \\
 & & & KL divergence \\

&\ =\ &\displaystyle \int q(x)\ \log \displaystyle \frac{q(x)}{p(x|D)} dx & \\
 & & & log ひっくり返してマイナス \\

&\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{p(x|D)}{q(x)} dx & \\
 & & & p(x\ |\ D)\ =\ \displaystyle \frac{p(x,\ D)}{p(D)} \\

&\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{1}{q(x)} 
\displaystyle \frac{p(x,\ D)}{p(D)} dx & \\
 & & & p(x,\ D) 移動 \\

&\ =\ &\displaystyle - \int q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)} 
\displaystyle \frac{1}{p(D)} dx & \\
 & & & \log 分解 \\

&\ =\ &\displaystyle - \int q(x)
\ \left\{
\log \displaystyle \frac{p(x,\ D)}{q(x)} 
- \log p(D)
\right\}dx & \\
 & & & 分配法則 \\

&\ =\ &\displaystyle - \int
q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)}
\ -\ q(x)\ \log p(D)\ dx \\
 & & & 積分分解 \\

&\ =\ &\displaystyle - \int
q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)}\ dx \\
& &\ +\ \displaystyle \int q(x)\ dx\ \cdot\ \log p(D) \\
 & & & \displaystyle \int q(x)\ dx\ =\ 1 \\

&\ =\ &\displaystyle - \int
q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)}\ dx\ +\ \log p(D) \\

\end{array}



 D_{KL}(q(x)\ ||\ p^{*}(x))\ =\ \displaystyle - \int
q(x)\ \log \displaystyle \frac{p(x,\ D)}{q(x)}\ dx\ +\ \log p(D)



参考

書籍

Web サイト