オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【誤差関数】二乗和誤差 / 残差平方和

【誤差関数】二乗和誤差 / 残差平方和

データサイエンス

yhayato1320.hatenablog.com

Index

二乗和誤差 / 残差平方和

統計学や機械学習で利用される目的関数、誤差関数のひとつ.

E\ =\ \displaystyle \sum_{i} (t_{i}\ -\ y_{i})^{2}

E\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

残差平方和 / Residual Sum of Square (RSS)

回帰分析にて、最小二乗方でモデルのパラメータを推定するために使用される.
回帰残差 / Residual とも呼ぶ.

E\ =\ \displaystyle \sum_{i} (t_{i}\ -\ y_{i})^{2}

二乗和誤差 / Sum of Squared Error (SSE)

機械学習・深層学習に登場する.
予測値 y が前にあるのは、微分したときに - が無いようにするため ?

E\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

平均二乗誤差 / Mean Squared Error (MSE)

二乗和誤差 と同値 ?
\frac{1}{2} は微分したときに、打ち消し合うためのもの ?

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

微分・勾配

深層学習では、誤差逆伝播法にて関数の微分・勾配を求める必要がある.

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

\displaystyle \frac {\partial E}{\partial y}\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})

参考

Web サイト