オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【統計学】ガウス過程 / Gaussian Process

Index

ガウス過程

ガウス過程とは、関数  f(x) を確率変数と見たてた確率分布.

ガウス過程も確率過程の一種.

確率過程

関数が確率変数であるということは、どのように考えるのか.

関数  f(x) が定まるとき、関数に対する様々な入力  x_1,\ x_2,\ \cdots において、 関数出力  f(x_1),\ f(x_2),\ \cdots が定まる.

しかし、定まっていない 関数  f(x) (確率変数) の出力は、どうなるか.

関数出力  f(x_1),\ f(x_2),\ \cdots が、ある確率分布に従うと考える.

ガウス過程では、関数  f(x) の任意の入力点  x_{i} に対して、その出力  f(x_{i}) の分布がガウス分布になる.





定義

ガウス過程 / 定義

どんな  N 個の入力の集合  ( x_{1},\ \cdots,\ x_{N} ) についても、 対応する出力  y\ =\ (y_{1},\ \cdots,\ y_{N}) の同時分布  p(y) が、 多変量ガウス分布に従うとき、 x y の関係は、ガウス過程 (Gaussian Process) に従うという.



「(パラメータ分布から予測分布が決定され)、学習データに依存せずに分布が決定された」 現象が、確率過程の定義そのものである.

もう少し踏み込んだ概念

入力 (データ / 観測) 空間  X 上の任意の点  x_{1},\ \cdots,\ x_{n} を考える.

入力間の類似度をカーネル行列  K で表現する.

これを共分散とするガウス分布からベクトル  \boldsymbol{f}\ =\ (f(x_1),\ \cdots,\ f(x_{n})) が得られる.





 f\ \sim\ N(\mu,\ K)


平均  \muガウス過程.

 K は、あらゆる入力  x_{n} の間の共分散を表す行列.

正確な定義

ガウス過程 / 正確な定義

どんな自然数  N についても、入力  x_1,\ \cdots,\ x_{N}\ \in\ x に対応する出力のベクトル

 f\ =\ (f(x_{1}),\ \cdots,\ f(x_{N}))


が平均  \mu\ =\ (\mu(x_{1}),\ \cdots,\ \mu(x_{N})) K_{nn^{\prime}}\ =\ k(x_{n},\ x_{n^{\prime}}) を要素とする行列  K を 共分散行列とするガウス分布  N(\mu,\ K) に従うとする.

このとき、 fガウス過程に従うという.

 f\ \sim\ GP(\mu(x),\ k(x,\ x^{\prime}))

カーネル法ガウス関数

カーネル関数と平均関数があれば、 f の事前分布であるガウス過程が定まり、 データが観測されれば、 f の事後分布を求めることができる.

故に、ガウス過程は、ベイズ統計の立場から見たカーネル法ともいうことができる.

カーネル法を適用したカーネル回帰と内容が一致する.

参考