オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【機械学習】ランジュバン・モンテカルロ法

【機械学習】ランジュバン・モンテカルロ法

Index

ランジュバン・モンテカルロ法

ランジュバン・モンテカルロ法は、スコアを使った MCMC 法.

アルゴリズム

はじめに任意の事前分布 \pi (x) からデータを x_{0}\ \sim\ \pi(x) とサンプリングし、 次に各位置でのスコアに従い推移する.



この際、正規分布からサンプリングされたノイズを少し加えた上で遷移する.

この遷移を K 回繰り返した結果を、サンプリング結果とする.



サンプリング

  • 入力
    • \alpha : ステップ幅
    • K : ステップ回数


  1. x_{0} を初期化
    • x_{0}\ \sim\ N(x_{0};\ 0,\ I)
  2. for k\ =\ 1,\ \cdots,\ K do
    • u_{k}\ \sim\ N(0,\ I)
    • x_{k}\ =\ x_{k\ -\ 1}\ +\ \alpha\ \nabla_{x}\ \log\ p(x_{k\ -\ 1}\ +\ \sqrt{2\alpha}\ u_{k}
  5. end for
  6. return x_{K}



このとき、 \alpha\ \rightarrow\ 0,\ K\ \rightarrow\ \infty で x_{K} は p(x) からのサンプルに収束する.

参考

書籍

Web サイト