【機械学習】アンサンブル学習 / Ensemble Learning #まとめ編

Index

アンサンブル学習 / Ensemble Learning

アンサンブル学習 (Ensemble Learning) は、複数のモデル (学習器) を融合させて1つの学習モデルを生成する機械学習の手法.

• 機械学習手法 #まとめ編
  • yhayato1320.hatenablog.com
    
    

コミッティに基づく学習 / Committee-Based Learning もしくは、 多重分類器システムの学習 / Multiple Classifier System とも呼ばれる.

アンサンブル学習は1人で問題を解くより、複数人で意見を出し合って知識を補い合いながら解く方が正答率が上がるのと考え方は同じ.

基本学習器

1 つのアンサンブルは、基本学習器と呼ばれる多くの学習器を含んでいる.

基本学習器は、決定木などのアルゴリズム (基本学習アルゴリズム) を利用する.

1 つの基本学習アルゴリズムを用いて、構築されたアンサンブルを同種アンサンブルといい、 複数の種類の基本アルゴリズムを用いて、構築されたアンサンブルを異種アンサンブルという.

アンサブルの種類

アンサンブル学習は大きく3つの手法に分けることが可能.

• バギング / Bagging
• ブースティング / Boosting
• スタッキング / Stacking

バギング / Bagging

Bootstrap AGGregatING

• バギング
  • yhayato1320.hatenablog.com

ブースティング / Boosting

• ブースティング / Boosting

• yhayato1320.hatenablog.com
  
  

• アダブースト / Ada Boost

  • yhayato1320.hatenablog.com

応用手法

ランダムフォレスト / Random Forests

• ランダムフォレスト / Random Forests
  • バギング / Bagging を利用
  • yhayato1320.hatenablog.com

XGBoost / 2014

• XGBoost (2014)

LightGBM / 2016

• LightGBM (2016)
  • ブースティング / Boosting を利用
  • yhayato1320.hatenablog.com

工夫・テクニック

PopulAtion Parameter Averaging / PAPA / 2023

• PopulAtion Parameter Averaging (PAPA)
  • [2023]
  • arxiv.org
  • PopulAtion Parameter Averaging (PAPA)ajolicoeur.wordpress.com

ライブラリ

• LightGBM

  • lightgbm.readthedocs.io
    
    

• XGBoost

  • xgboost.readthedocs.io
    
    

• CatBoost

  • CatBoost - open-source gradient boosting library

参考

• Machine Learning A Probabilistic Perspective
  • 16 Adaptive basis function models
    • 16.6 Ensemble learning

  • Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series)

書籍

• Python 機械学習プログラミング

  • 7 アンサンブル学習 - 異なるモデルの組み合わせ
    • 7.1 アンサンブルによる学習
    • 7.2 単純な多数決分類器の実装
    • 7.3 アンサンブル分類器の評価とチューニング
    • 7.4 バギング : ブートストラップ標本を使った分類器アンサンブルの構築
    • 7.5 アダブーストによる弱学習器の活用
  • [asin:B01HGIPIAK:detail]
    
    

• アンサンブル法による機械学習

  • 1 はじめに
    • 1.4 アンサンブル法

  • アンサンブル法による機械学習：基礎とアルゴリズム