オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【機械学習】メトロポリス法

【機械学習】メトロポリス法

Index

メトロポリス法

MCMC 法における考え方の一つ.

確率 P(x) が以下のように表現できるとする.

P(x)\ =\ \displaystyle \frac{e^{^S(x)}}{Z}


S は対数尤度、 Z は分配関数と考える.



初期値 x^{(0)} から次の手順で、 x^{(1)},\ x^{(2)},\ \cdots,\ x^{k},\ x^{K+1},\ \cdots を構成する.

  1. 実数 \Delta\ x をランダムに選び、 x^{'}\ =\ x^{(k)}\ +\ \Delta\ x を x^{k+1} の候補として提案する.
  2. メトロポリテスト
    • 0 と 1 の間の一様乱数 r を生成
    • r\ <\ \displaystyle e^{S\left(x^{(k)}\right)\ -\ S\left(x^{'}\right)} を満たせば、提案を受理し、 x^{(k\ +\ 1)} を更新する.
    • 満たさなければ、提案を棄却し、 x^{(k\ +\ 1)}\ =\ x^{(k)} とする.



参考

書籍

Web サイト

動画