Index
アンサンブル学習 / Ensemble Learning
アンサンブル学習 (Ensemble Learning) は、複数のモデル (学習器) を融合させて1つの学習モデルを生成する機械学習の手法.
- 機械学習手法 #まとめ編
アンサンブル学習は1人で問題を解くより、複数人で意見を出し合って知識を補い合いながら解く方が正答率が上がるのと考え方は同じ.
基本学習器
1 つのアンサンブルは、基本学習器と呼ばれる多くの学習器を含んでいる.
基本学習器は、決定木などのアルゴリズム (基本学習アルゴリズム) を利用する.
1 つの基本学習アルゴリズムを用いて、構築されたアンサンブルを同種アンサンブルといい、 複数の種類の基本アルゴリズムを用いて、構築されたアンサンブルを異種アンサンブルという.
アンサブルの種類
アンサンブル学習は大きく3つの手法に分けることが可能.
- バギング / Bagging
- ブースティング / Boosting
- スタッキング / Stacking
バギング / Bagging
ブースティング / Boosting
- ブースティング / Boosting
アダブースト / Ada Boost
応用手法
ランダムフォレスト / Random Forests
- ランダムフォレスト / Random Forests
- バギング / Bagging を利用
- yhayato1320.hatenablog.com
XGBoost / 2014
XGBoost
- xxx
- xxx
LightGBM / 2016
- LightGBM
- ブースティング / Boosting を利用
- yhayato1320.hatenablog.com
NN への応用
AdaNet / 2021
AdaNet: A Scalable and Flexible Framework for Automatically Learning Ensembles
- [2021]
- arxiv.org
How to ensemble neural networks using AdaNet?
工夫・テクニック
Model Cascades / 2020
Wisdom of Committees: An Overlooked Approach To Faster and More Accurate Models
- [2020]
- arxiv.org
Model Ensembles Are Faster Than You Think
Nice blog post on model cascades (~subset of ensembles but executed sequentially). Can confirm that this works well. Recommended it to students for class projects in past years & we usually called it hierarchical models (but I like the term "cascades") https://t.co/KfndGB4uyN pic.twitter.com/wQfv22jAjp
— Sebastian Raschka (@rasbt) November 23, 2021
PopulAtion Parameter Averaging / PAPA / 2023
- PopulAtion Parameter Averaging (PAPA)
ライブラリ
LightGBM
XGBoost
CatBoost
参考
- Machine Learning A Probabilistic Perspective
- 16 Adaptive basis function models
- 16.6 Ensemble learning
- 16 Adaptive basis function models
書籍
-
- 7 アンサンブル学習 - 異なるモデルの組み合わせ
- 7.1 アンサンブルによる学習
- 7.2 単純な多数決分類器の実装
- 7.3 アンサンブル分類器の評価とチューニング
- 7.4 バギング : ブートストラップ標本を使った分類器アンサンブルの構築
- 7.5 アダブーストによる弱学習器の活用
- [asin:B01HGIPIAK:detail]
- 7 アンサンブル学習 - 異なるモデルの組み合わせ
アンサンブル法による機械学習
- 1 はじめに
- 1.4 アンサンブル法
- [asin:B073F12L1V:detail]
- 1 はじめに
