Index
誤差関数 / 損失関数
誤差関数 / Error Function、損失関数 / Loss Function、コスト巻数 / Cost Function
呼び名はともあれ、予測と期待値の離れ具合を表す.
だいだい、この関数の最小値を求めることが多い.
二乗和誤差 / 残差平方和
- 二乗和誤差 / 残差平方和
- 回帰問題に利用されることが多い
-
- yhayato1320.hatenablog.com
二乗平均平方根誤差 / Root Mean Squared Error / RMSE
Entropy / エントロピー
離散確率変数 を考え、この変数に対するある特定の値を観測したときに
どれだけの情報を受け取るか.
Cross Entropy / 交差エントロピー
分類問題に利用されることが多い.
Binary Cross Entropy
二値分類 / Binary Classification に用いられる.
Categorical Cross Entropy
- 多クラス分類への応用
one-hot 形式のラベルとで計算する
One-Hot Encoding
Sparse Categorical Cross Entropy
- Sparse Categorical Cross Entropy
- 多クラス分類への応用
- 整数ラベル (not one-hot) との計算が可能
- yhayato1320.hatenablog.com
Symmetric Cross Entropy
- CLIP で利用された.
参考
- A survey and taxonomy of loss functions in machine learning
- [2023]
- arxiv.org
書籍
- パターン認識と機械学習 上
- 1 序論
- 1.5 決定理論
- 1.5.2 期待損失の最小化
- 損失関数について
- 1.5.2 期待損失の最小化
- 1.6 情報理論
- Entropy について
- 1.5 決定理論
- 4 線形識別モデル
- 4.3 確率的識別モデル
- 4.3.2 ロジスティック回帰
- Cross Entropy について
- 4.3.2 ロジスティック回帰
- 4.3 確率的識別モデル
- 1 序論
Web サイト
損失関数について、ざっくりと考える
機械学習で抑えておくべき損失関数(分類編)