オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【統計学】ガウス過程 / Gaussian Process

【統計学】ガウス過程 / Gaussian Process

データサイエンス データサイエンス-統計学

Index

ガウス過程

ガウス過程とは、関数 f(x) を確率変数と見たてた確率分布.

ガウス過程も確率過程の一種.

確率過程

関数が確率変数であるということは、どのように考えるのか.

関数 f(x) が定まるとき、関数に対する様々な入力 x_1,\ x_2,\ \cdots において、 関数出力 f(x_1),\ f(x_2),\ \cdots が定まる.

しかし、定まっていない 関数 f(x) (確率変数) の出力は、どうなるか.

関数出力 f(x_1),\ f(x_2),\ \cdots が、ある確率分布に従うと考える.

ガウス過程では、関数 f(x) の任意の入力点 x_{i} に対して、その出力 f(x_{i}) の分布がガウス分布になる.





定義

ガウス過程 / 定義

どんな N 個の入力の集合 ( x_{1},\ \cdots,\ x_{N} ) についても、 対応する出力 y\ =\ (y_{1},\ \cdots,\ y_{N}) の同時分布 p(y) が、 多変量ガウス分布に従うとき、 x と y の関係は、ガウス過程 (Gaussian Process) に従うという.



「(パラメータ分布から予測分布が決定され)、学習データに依存せずに分布が決定された」 現象が、確率過程の定義そのものである.

もう少し踏み込んだ概念

入力 (データ / 観測) 空間 X 上の任意の点 x_{1},\ \cdots,\ x_{n} を考える.

入力間の類似度をカーネル行列 K で表現する.

これを共分散とするガウス分布からベクトル \boldsymbol{f}\ =\ (f(x_1),\ \cdots,\ f(x_{n})) が得られる.





f\ \sim\ N(\mu,\ K)


平均 \mu のガウス過程.

K は、あらゆる入力 x_{n} の間の共分散を表す行列.

正確な定義

ガウス過程 / 正確な定義

どんな自然数 N についても、入力 x_1,\ \cdots,\ x_{N}\ \in\ x に対応する出力のベクトル

f\ =\ (f(x_{1}),\ \cdots,\ f(x_{N}))


が平均 \mu\ =\ (\mu(x_{1}),\ \cdots,\ \mu(x_{N})) と K_{nn^{\prime}}\ =\ k(x_{n},\ x_{n^{\prime}}) を要素とする行列 K を 共分散行列とするガウス分布 N(\mu,\ K) に従うとする.

このとき、 f はガウス過程に従うという.

f\ \sim\ GP(\mu(x),\ k(x,\ x^{\prime}))

カーネル法とガウス関数

カーネル関数と平均関数があれば、 f の事前分布であるガウス過程が定まり、 データが観測されれば、 f の事後分布を求めることができる.

故に、ガウス過程は、ベイズ統計の立場から見たカーネル法ともいうことができる.

カーネル法を適用したカーネル回帰と内容が一致する.

応用

MASKERADE / 2023

  • Marginalising over Stationary Kernels with Bayesian Quadrature

参考