この記事の読者
機械学習・マシンラーニングの手法の1つである「ブースティング / Boosting」について知りたい.
Index
ブースティング / Boosting
適応基底関数モデル
Schapire / Freund から発表された、適応基底関数モデルにフィッティングするためのアルゴリズム.
- 適応基底関数モデル
弱学習器を基底関数として構成されている.
ブースティング / Boosting とは
ブースティング / Boosting は、複数の弱識別器を用意して、
学習を直列的にし、前の弱識別器の学習結果を参考にしながら一つずつ弱識別器を学習するアンサブル手法の一つ.
- アンサンブル学習 / Ensemble Learning
次の弱識別器の学習データは、それまでの学習結果から次の学習にとってもっとも有益なものが選ばれる.
各弱識別器は、学習データに対する誤り率が を満たすように学習が行われる.
二値分類では、ランダム識別器でも0.5 の精度 (誤り率)を出すことができる.
それよりも少しでも良い精度 (誤り率でいうと )をだせれば、全体として十分な識別器が作るれる.
目的
- : Loss Function
- : ラベル・グランドトルース
- : 予測
処理フロー
弱識別器
弱識別器のひとつとして利用されるのが決定木である.
誤差関数
学習器の評価方法として、誤差関数を用いる.
Name | Loss | Algorithm |
Squared Error | L2 Boosting | |
Absolute Error | Gradient Boosting | |
Exponential Loss | Ada Boosting | |
Log Loss | Logit Boost |
種類
ブースティングにはいくつか種類がある.
- L2 Boosting
- Gradient Boosting
- アダブースト / Ada Boost (Adaptive Boosting)
- Logit Boosting
Gradient Boosting
- Gradient Boosting
- 勾配法を用いて、パラメータを更新する
- yhayato1320.hatenablog.com
アダブースト / Ada Boost (Adaptive Boosting)
- アダブースト / Ada Boost (Adaptive Boosting)
- 各データ点にも重みを設け、各識別器の重みと同様に更新する
- yhayato1320.hatenablog.com
参考
- Boosting: Foundations and Algorithms
- Schapire / Freund 2012
- 発表論文