この記事の読者
回帰分析で利用される「最小二乗法」について知りたい.
Index
最小二乗法とは
ある目的の関数を最小にする係数・パラメータを推定する方法の一つ.
回帰分析などで使用されることが多い.
線形単回帰における最小二乗法
線形単回帰を例にして、どのように最小二乗法が適用されるのかを考える.
以下のような母回帰方程式を考える.
そこで、母回帰係数 を推定することを考える.
まず、誤差項 は以下のように表せる.
の符号の影響を取り除くために二乗し、
それを総和する関数を最小化する目的の関数として、 とする.
は が で説明できない部分の総和を表しているから、
できるだけ小さい方が望ましいと考えられる.
できるだけ小さい方が望ましいと考えられる.
を最小にする を の推定量としたとき、
これらを推定することが、最小二乗法 (Method of Least Squares) の考え.
また、 を 最小二乗推定量 という.
計算方法
では、具体的にどのように計算を行うのかを考える.
を最小にする は、
偏微分した式を 0 とおいた以下の方程式を解くことで求めることができる.
これらを整理すると、以下の式になり、これを正規方程式 と呼ぶ.
これを解くと、 は以下のようになる.
ここで、 は の標本平均としている.
は 標本回帰係数 と呼ばれる.
また、それらを使った以下のような回帰方程式を 標本回帰方程式 という.
は、それぞれ、傾き、 切片という意味を持っている.
また、 は の推定値となり、これを回帰値と呼ぶ.
回帰残差
実測値 と、標本回帰方程式から得られた回帰値 とのずれは以下のように表され、
これを回帰残差 (Residual) と呼ぶ.
は、誤差項 の推定量であることに注意.
まとめ
- 目的の関数を最小化するためのパラメータを推定するための手法
回帰分析では、誤差項 を目的の関数として最小化するように回帰係数を求める
線形重回帰の係数パラメータ推定
参考
-
- 13 回帰分析
- 13.2 回帰係数の推定
- 13.2.1 最小二乗法による回帰係数の推定
- 13.2 回帰係数の推定
-
- 13 回帰分析
多変量解析入門
- 2 線形回帰モデル
- 2.1 2変数間の関係を捉える
- 2.1.2 モデルの推定 最小2乗法
- 2.1 2変数間の関係を捉える
-
- 2 線形回帰モデル
関連動画
- #01 【一問一答】 最小二乗法 www.youtube.com