Index

Index
線形基底関数モデルとは
線形回帰モデル
- 単変数の線形回帰モデル
- 多変数の線形回帰モデル
線形基底関数モデル
基底関数
参考

線形基底関数モデルとは

一般的なデータ解析のモデルの１つである線形回帰モデルを一般化して、どのような関数でも適用できるような形式.

回帰分析 #まとめ編
- yhayato1320.hatenablog.com

基底関数を線形に結合しているだけ、最終的な関数 (回帰方程式) が、線形になるわけではない.

非線形への拡張もあり得る.

線形回帰モデル

単変数の線形回帰モデル

データ解析で基本的なモデルである線形回帰モデルは以下のように定式化できる.

$\displaystyle{ y\ =\ ax\ +\ b}$

$x$ : 入力（説明変数）
$y$ : 出力（目的変数）
$a,\ b$ : パラメータ

散布されたデータに対して、線形回帰モデルを適用したイメージ図.

回帰分析
- 基本的なアルゴリズム
- yhayato1320.hatenablog.com

多変数の線形回帰モデル

単変数の線形回帰モデルを多変数の線形回帰モデルに一般化した場合も考える.

実際にデータ解析をするときに入力（説明変数）が１種類（１次元）である場合は少なく、多変量になるとことが多い.

$\displaystyle{ y\ =\ w_{0}\ +\ w_{1} x_{1}\ +\ \cdots +\ w_{D} x_{D} }$

$D$ : 説明変数の次元（種類）
$x_{n}\ (n:\ 1,\ \cdots\ ,\ D)$ : 入力（説明変数）
$y$ : 出力（目的変数）
$w_{n}\ (n:\ 0,\ \cdots\ ,\ D)$ : パラメータ

単変数のモデルも $a\ =\ w_1\ ,b\ =\ w_0$ とすると上の式の $D\ =\ 1$ の式と同様になる.

$\displaystyle{ y\ =\ w_1x_1\ +\ w_0 }$

重回帰
- yhayato1320.hatenablog.com

線形基底関数モデル

さらに変数への写像関数を一般化（拡張）する.

写像関数を一般化するために、基底関数を導入する.

$\displaystyle{ y\ =\ w_{0}\ +\ w_{1} \phi_{1}(\mathbb{x})\ +\ \cdots +\ w_{D} \phi_{D}(\mathbb{x}) }$

$D$ : 説明変数の次元（種類）
: 入力ベクトル（説明変数）
- $\mathbb{x}\ =\ (x_1,\ \cdots,\ x_D)$
$y$ : 出力（目的変数）
$w_{n}\ (n:\ 0,\ \cdots\ ,\ D)$ : パラメータ
$\phi_{n}\ (n:\ 1,\ \cdots\ ,\ D)$ : 基底関数

基底関数 $\phi_n$ を $\phi_n(\mathbb{x})\ =\ x_n\ \ (n\ :\ 1,\ \cdots,\ D)$ とすることで、多変量の線形回帰モデルの式になる.

そして、さらに数式をコンパクトにするために以下のように数式を解釈する.

$\displaystyle{ y\ =\ w_{0}\ +\ w_{1} \phi_{1}(\mathbb{x})\ +\ \cdots +\ w_{D} \phi_{D}(\mathbb{x}) \\ \ \ \ =\ w_{0} \cdot\ 1\ +\ w_{1} \phi_{1}(\mathbb{x})\ +\ \cdots +\ w_{D} \phi_{D}(\mathbb{x}) \\ \ \ \ \ \ \ \ \ \ (\phi_{0}(\mathbb{x})\ =\ 1) \\ \ \ \ =\ w_{0} \cdot\ \phi_{0}(\mathbb{x})\ +\ w_{1} \phi_{1}(\mathbb{x})\ +\ \cdots +\ w_{D} \phi_{D}(\mathbb{x}) \\ \ \ \ =\ \sum_{j=0}^{D}w_{j}\phi_{j}(\mathbb{x}) \\ \ \ \ =\ \mathbb{w}^{T} \mathbb{\phi} (\mathbb{x}) }$

: パラメータベクトル
- $\mathbb{w}\ =\ (w_0,\ \cdots,\ w_D)$
: 基底関数ベクトル (特徴ベクトルと呼ぶ)
- $\mathbb{\phi}\ =\ (\phi_0(\mathbb{x}),\ \cdots,\ \phi_D(\mathbb{x}))$