オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【誤差関数】二乗和誤差 / 残差平方和

yhayato1320.hatenablog.com

Index

二乗和誤差 / 残差平方和

統計学機械学習で利用される目的関数、誤差関数のひとつ.

 E\ =\ \displaystyle \sum_{i} (t_{i}\ -\ y_{i})^{2}

 E\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

 E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

残差平方和 / Residual Sum of Square (RSS)

回帰分析にて、最小二乗方でモデルのパラメータを推定するために使用される.
回帰残差 / Residual とも呼ぶ.

 E\ =\ \displaystyle \sum_{i} (t_{i}\ -\ y_{i})^{2}

二乗和誤差 / Sum of Squared Error (SSE)

機械学習・深層学習に登場する.
予測値  y が前にあるのは、微分したときに  - が無いようにするため ?

 E\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

 E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

平均二乗誤差 / Mean Squared Error (MSE)

二乗和誤差 と同値 ?
 \frac{1}{2}微分したときに、打ち消し合うためのもの ?

 E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

微分・勾配

深層学習では、誤差逆伝播法にて関数の微分・勾配を求める必要がある.

 E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

 \displaystyle \frac {\partial E}{\partial y}\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})

参考

Web サイト