オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【機械学習】誤差関数 / 損失関数 #まとめ編

Index

誤差関数 / 損失関数

誤差関数 / Error Function、損失関数 / Loss Function、コスト巻数 / Cost Function
呼び名はともあれ、予測と期待値の離れ具合を表す.

だいだい、この関数の最小値を求めることが多い.

二乗和誤差 / 残差平方和

二乗平均平方根誤差 / Root Mean Squared Error / RMSE

Entropy / エントロピー

離散確率変数  x を考え、この変数に対するある特定の値を観測したときに どれだけの情報を受け取るか.

 E\ =\ H(x)\ =\ - \displaystyle \sum_{x}\ p(x)\ \log p(x)



Cross Entropy / 交差エントロピー

分類問題に利用されることが多い.

Binary Cross Entropy

二値分類 / Binary Classification に用いられる.

 E\ =\ - \displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n} \left(\ y_{i}\ \log(p_{i})\ +\ (1 - y_{i})\ \log(1 - p_{i})\ \right)

Categorical Cross Entropy

Sparse Categorical Cross Entropy

  • Sparse Categorical Cross Entropy

Symmetric Cross Entropy

参考

  • A survey and taxonomy of loss functions in machine learning

書籍

Web サイト