オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【統計学】最小二乗法 #アルゴリズム編 #01

この記事の読者

回帰分析で利用される「最小二乗法」について知りたい.

Index

最小二乗法とは

ある目的の関数を最小にする係数・パラメータを推定する方法の一つ.

回帰分析などで使用されることが多い.

線形単回帰における最小二乗法

線形単回帰を例にして、どのように最小二乗法が適用されるのかを考える.

以下のような母回帰方程式を考える.

 Y_i\ =\ \beta_1\ +\ \beta_2 X_i\ +\ \epsilon_i



そこで、母回帰係数 \beta_1, \beta_2 を推定することを考える.

まず、誤差項  \epsilon_i は以下のように表せる.

 \epsilon_i\ =\ Y_i\ -\ (\beta_1\ +\ \beta_2X_i),\ \ \ i=1, 2, \cdots, n





 \epsilon_i の符号の影響を取り除くために二乗し、
それを総和する関数を最小化する目的の関数として、 S とする.

 S = \displaystyle \sum_i \epsilon_i^{2} \\
\ \ = \displaystyle \sum_i \left \{ Y_i\ -\ (\beta_1\ +\ \beta_2X_i) \right \}^{2}



 S Y_i X_i で説明できない部分の総和を表しているから、
できるだけ小さい方が望ましいと考えられる.



 S を最小にする  \hat{\beta_1}, \hat{\beta_2} \beta_1, \beta_2 の推定量としたとき、
これらを推定することが、最小二乗法 (Method of Least Squares) の考え.

また、 \hat{\beta_1}, \hat{\beta_2}最小二乗推定量 という.

計算方法

では、具体的にどのように計算を行うのかを考える.

 S を最小にする  \hat{\beta_1}, \hat{\beta_2} は、
偏微分した式を 0 とおいた以下の方程式を解くことで求めることができる.

 
\begin{align}
\displaystyle \frac{\partial \beta_1}{\partial S}&\ =\ -2 \displaystyle \sum (Y_i - \beta_1 - \beta_2 X_i) = 0  \\
\\
\displaystyle \frac{\partial \beta_2}{\partial S}&\ =\ -2 \displaystyle \sum (Y_i - \beta_1 - \beta_2 X_i)X_i = 0
\end{align}



これらを整理すると、以下の式になり、これを正規方程式 と呼ぶ.


\begin{array}{ccccccc}
n\ & \beta_1 & + & \left( \displaystyle \sum X_i \right) & \beta_2 & = & \displaystyle \sum Y_i \\
\left( \displaystyle \sum X_i \right)\ & \beta_1 & + & \left( \displaystyle \sum X_i^{2} \right) & \beta_2 & = & \displaystyle \sum X_i Y_i
\end{array}



これを解くと、 \hat{\beta_1}, \hat{\beta_2} は以下のようになる.


\begin{cases}
\hat{\beta_2} = \displaystyle \frac{\displaystyle \sum (X_i - \bar{X}) (Y_i - \bar{Y})}{\displaystyle \sum (X_{i}\ -\ \bar{X})^{2}} \\
\\
\hat{\beta_1} = \bar{Y} - \hat{\beta_2} \bar{X}
\end{cases}


ここで、 \bar{X}, \bar{Y} X_i, Y_i の標本平均としている.



 \hat{\beta_1}, \hat{\beta_2}標本回帰係数 と呼ばれる.

また、それらを使った以下のような回帰方程式を 標本回帰方程式 という.


Y = \hat{\beta_1} + \hat{\beta_2}X





 \hat{\beta_1},\ \hat{\beta_2} は、それぞれ、傾き、 y 切片という意味を持っている.



また、 \hat{Y_i} = \hat{\beta_1} + \hat{\beta_2} X_i E[ Y_i ] の推定値となり、これを回帰値と呼ぶ.

回帰残差

実測値  Y_i と、標本回帰方程式から得られた回帰値  \hat{Y_{i}} とのずれは以下のように表され、

 
\begin{align}
\hat{e_i}&\ =\ Y_{i}\ -\ \hat{Y_{i}}\\
&\ =\ Y_{i}\ -\ (\hat{\beta_{1} }\ +\ \hat{\beta_{2}} X_{i})
\end{align}



これを回帰残差 (Residual) と呼ぶ.

 \hat{e_i} は、誤差項  \epsilon_{i} の推定量であることに注意.

まとめ

  • 目的の関数を最小化するためのパラメータを推定するための手法
  • 回帰分析では、誤差項 を目的の関数として最小化するように回帰係数を求める

  • 線形重回帰の係数パラメータ推定

参考

関連動画