オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【統計学】ガウス過程回帰

【統計学】ガウス過程回帰

データサイエンス データサイエンス-統計学

Index

ガウス過程回帰

ガウス過程回帰とは、データから関数 f(x) の確率分布をガウス過程の形で求める方法.

求めたいものは、関数 f(x) の事後分布.

これを、ベイズ推定で求める.

ガウス過程

ガウス過程とは、関数 f(x) を確率変数と見たてた確率分布.

f\ \sim\ GP(\mu(x),\ k(x,\ x^{\prime}))


\mu は平均関数、 k はカーネル関数.

K_{nn^{\prime}}\ =\ k(x_{n},\ x_{n^{\prime}})

回帰モデル

ガウス過程回帰の回帰モデルを考えよう.

\left\{ \begin{array}{ll} y\ =&\ f(x) \\ \\ f\ \sim&\ GP(\ \mu(x), k(x_{n},\ x_{n^{\prime}})\ ) \end{array} \right. \Leftrightarrow \ y\ \sim\ N(\mu,\ K)


K はカーネル行列



目的変数 y は平均が 0 となるように正規化されてる考えれば、さらに単純に考えられる.

y\ \sim\ N(0, K)

予測分布

それでは、未知のデータへの予測について考えよう.



未知の説明変数 x^{*} に対応する y^{*} を考える.



ガウス過程回帰では、既知のデータ (学習データ) に y^{*} を加えた新しい分布 (事後分布) を考える.

既知のデータ y

y\ =\ (y_{1},\ \cdots,\ y_{N})


に、 y^{*} を加えた y^{\prime}

y^{\prime}\ =\ (y_{1},\ \cdots,\ y_{N},\ y^{*})


を考えよう.

x も同様に考え、

D\ =\ \{\ (x_{1},\ y_{1}),\ \cdots,\ (x_{N},\ y_{N})\ \}


から、 D^{\prime}
D^{\prime}\ =\ \{\ (x_{1},\ y_{1}),\ \cdots,\ (x_{N},\ y_{N}),\ (x^{*},\ y^{*})\ \}


を考える.



未知のデータを加えた状態のカーネル行列 K^{\prime} も考えることができる.



そして、未知のデータを加えた新しいデータ集合もガウス分布に従うと考えられる.

y^{\prime}\ \sim\ N(0,\ K^{\prime})



ここでは、 \mu および、 \mu^{\prime} は、ゼロベクトルと考えている.



\begin{pmatrix} y \\ y^{\prime} \\ \end{pmatrix} \ \sim\ N \left(0,\ \begin{pmatrix} K & k_{*} \\ k_{*}^{T} & k_{**} \\ \end{pmatrix} \right)





なので、

予測分布

p(y^{*}\ |\ x^{*},\ D)\ =\ N(\ k_{*}^{T} K^{-1}y,\ k_{**}\ -\ k_{*}^{T} K^{-1} k_{*}\ )

参考

書籍