オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【機械学習】近似推論法

【機械学習】近似推論法

Index

近似法 / 近似推論法

確率モデルを適用する際に中心的となるタスクは、観測データ X が与えられたときの潜在変数 Z の 事後分布 P(Z\ |\ X) を求めること.

例えば、EM アルゴリズムでは、完全データの対数尤度の期待値を、 隠れ変数の事後分布に従ってとる必要がある.

しかし、事後分布を求めることや、その事後分布に従った期待値を計算することは不可能なことが多い.

理由としては、

  • 隠れ変数の空間全体を直接扱うには次元が高すぎる
  • 事後分布が複雑な形をしており、期待値が解析的に計算できない


    • このような場合には、近似法を用いる必要がある.



近似法は、近似が「確率的」か「決定的」かによって分けられる.

決定論的近似 / 決定的

変分近似法

変分推論法 / Variational Inference・変分ベイズ法 / Variational Bayes

EP 法 / Expectation Propagation

サンプリング法 / 確率的

モンテカルロ サンプリング / Monte Carlo Sampling

非観測変数の事後分布そのものを直接知りたいこともあるが、 事後分布は、「予測を行うために期待値を評価する目的」である場合を想定する.

ある関数 f(z) の確率分布 p(z) の下での期待値に焦点を置く.

E[ f ]\ =\ \displaystyle \int\ f(z)\ p(z)\ dz



サンプリング法の背後にある一般的なアイディアは、分布 p(z) から 独立に抽出されたサンプルの集合 \{z_{l}\ |\ z\ =\ 1,\ \cdots,\ L\} を得ること.



参考

書籍