Index

Index
ベイズ回帰
回帰分析からの導入
- パラメータ空間
ベイズ回帰
- 事後分布の更新・推定 / 逐次ベイズ学習
  - 逐次ベイズ学習
ガウス過程回帰
参考
- 書籍
- Web

ベイズ回帰

ベイズ (推定) 回帰は、回帰分析におけるパラメータに対して、固定値ではなく、確率的に変動するもの (確率変数) として扱う.

回帰分析 #まとめ編
- yhayato1320.hatenablog.com

回帰分析からの導入

回帰分析では、回帰方程式を定め、誤差を確率変数と考えることで、パラメータを推定していた.

$\left\{ \begin{eqnarray} f(x)\ &=&\ \beta_{1}\ +\ \beta_{2}\ x \\ \\ y\ &=&\ f(x)\ +\ \epsilon \end{eqnarray} \right.$

回帰分析 #アルゴリズム編
- yhayato1320.hatenablog.com

$f(x)$ を一般的に、考えて、

$x$ の特徴ベクトル / (回帰関数の基底関数ベクトル) を

$\phi (x)\ =\ (\phi_{1}(x),\ \cdots,\ \phi(x)_{H})^{T}$

としておく.

予測 $\hat{y}$ は、

$\hat{y}\ =\ f(x) =\ \beta^{T}\ \phi(x)$

$\beta$ は、各特徴 (基底関数) への重み / パラメータを表している.

$\beta\ =\ (\beta_{1},\ \cdots,\ \beta_{H})^{T}$

各データ (訓練データ) に適用して、

$\boldsymbol{\hat{y}}\ =\ \boldsymbol{\Phi}\ \beta$

と、一般化できる.

パラメータ空間

しかし、ここでは、パラメータ $\beta$ を確率変数として扱う、ベイズ統計の考えを導入してみる.

ベイズ確率
- yhayato1320.hatenablog.com

データに対して、適切な値を設定したいパラメータは、変動することによって評価が変わってくる.

つまり、変動する幅、空間があると考えれば、パラメータ空間という考えも肯けるのではないか.

上は、パラメータ空間とデータ空間の 2 つの空間を確認している.

目的変数の分布 / 予測分布 / 条件付き確率分布

パラメータに空間を考えてみたが、だからなんだというのか.

結局大事な目的は、予測なのである.

パラメータ空間を考えたことによる、予測値についての考えがどうなったのかを考えよう.

回帰分析では、誤差 $\epsilon$ の確率分布 $p(\epsilon)$ を仮定していた.

ということは、(パラメータ $\beta\ =\ (\beta_{1},\ \beta_{2})$ と考えて、) パラメータ $\beta$ が決定した後で、観測 $y$ が得られる 条件付き確率分布を仮定したとも考えられる.

$y\ \sim\ p(\ y\ |\ \beta\ )$

条件付き確率
- yhayato1320.hatenablog.com

パラメータ $\beta$ が定まれば、 $f(x)$ が定まり、 $\epsilon$ の分布が仮定されていれば、観測値 $y$ の分布も考えることができる.

例えば、パラメータの分布がガウス分布に従うとした場合、予測もガウス分布に従う.

$\left\{ \begin{array}{ll} y\ =&\ \boldsymbol{\Phi}\ \beta \\ \\ \beta\ \sim&\ N(0,\ \lambda^{2} I) \end{array} \right.$ $\Longrightarrow \ y\ \sim\ N(0,\ \lambda^{2}\ \boldsymbol{\Phi}\ \boldsymbol{\Phi}^{T})$