この記事の読者

機械学習・マシンラーニングの手法の１つである「LightGBM」について知りたい.

Index

LightGBM とは

決定木アルゴリズム / Decision Tree に基づいた勾配ブースティング決定木 / Gradient Boosting Decision Tree) の機械学習アルゴリズム.

決定木アルゴリズム / Decision Tree は、単純な識別規則を組み合わせて複雑な識別境界 / 非線形な識別空間を取得する手法.

アンサンブル学習 / Ensemble Learning は、複数のモデル (学習器) を融合させて1つの学習モデルを生成する手法.

決定木を弱学習器として「バギング」によるアンサンブル学習を適応し、工夫を加えた手法を「ランダムフォレスト」と呼ぶ.

対して、「勾配ブースティング決定木 / Gradient Boosting Decision Tree」は決定木を弱学習器として「ブースティング」の手法を用いてアンサンブル学習を行う.

ブースティングは前の弱学習器の結果を、次の学習データに反映をさせる仕組み.

最初に訓練を行う分類器を1号、次に訓練を行う分類器を2号とする.

まず、1号の分類器で学習を行い、推測結果を評価する.

次に、1号の分類器の評価結果と実際に値の「誤差」を訓練データとして、2号の分類器の学習を行う.

そして、N号の分類器は N-1 号の分類器の誤差を学習する.