オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【機械学習】二乗和誤差 / 残差平方和

【機械学習】二乗和誤差 / 残差平方和

データサイエンス

Index

二乗和誤差 / 残差平方和

統計学や機械学習で利用される目的関数、誤差関数のひとつ.

E\ =\ \displaystyle \sum_{i} (t_{i}\ -\ y_{i})^{2}

E\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}



いろんな名前、数式で表されるが、差分の二乗.

残差平方和 / Residual Sum of Square / RSS

回帰分析にて、最小二乗方でモデルのパラメータを推定するために使用される.

回帰残差 / Residual とも呼ぶ.

E\ =\ \displaystyle \sum_{i} (t_{i}\ -\ y_{i})^{2}

二乗和誤差 / Sum of Squared Error / SSE

二乗誤差ともいう.

機械学習・深層学習に登場する.

予測値 y が前にあるのは、微分したときに - が無いようにするため ?

E\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}



Sum of Squared Difference / SSD とも

平均二乗誤差 / Mean Squared Error / MSE

二乗和誤差 と同値 ?

\frac{1}{2} は微分したときに、打ち消し合うためのもの ?

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

微分・勾配

深層学習では、誤差関数の最小値を求めるために、 誤差逆伝播法にて関数の微分・勾配を求める必要がある.

E\ =\ \displaystyle \frac{1}{2} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}

\displaystyle \frac {\partial E}{\partial y}\ =\ \displaystyle \sum_{i} (y_{i}\ -\ t_{i})

参考

Web サイト