Index
Gradient Boosting
Boosting の手法の一つ.
- Boosting
目的
- : データ数
- : 入力データ
損失関数 を最小にする 予測関数 を見つけたい.
勾配
各識別器の損失関数を最小にする予測関数を見つけたい.
予測値で、損失関数を微分し、 となる予測関数を求める.
: ステップ回数
更新
実装
参考
Boosting Algorithms as Gradient Descent
- [2000]
- papers.nips.cc
Greedy function approximation: A gradient boosting machine
- [2001]
- projecteuclid.org
書籍
- Machine Learning A Probabilistic Perspective
- 16 Adaptive basis function models
- 16.4 Boosting
- 16.4.5 Boosting as functional gradient descent
- 16.4 Boosting
- 16 Adaptive basis function models