オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【機械学習】決定木 / Decision Tree #まとめ編

データサイエンスデータサイエンス-機械学習

機械学習 #まとめ編
- yhayato1320.hatenablog.com

Index

Index
決定木 / Decision Tree
- 基本アルゴリズム / Classification
- Regression Tree
応用アルゴリズム
- ランダムフォレスト / Random Forests
- Light GBM
実装編
参考
- Web サイト

決定木 / Decision Tree

基本アルゴリズム / Classification

#アルゴリズム編 #01

諸定義

yhayato1320.hatenablog.com

#アルゴリズム編 #02

ノード分割規則

不純度 / Cost ノード $t$ (の分割規則)の不純度を

$I (t)\ =\ \phi (\ P(C_1 | t),\ \cdots,\ P(C_K | t)\ )$

代表的な不純度 / Cost を表す関数
1. ノード $t$ における誤り率
  $I (t)\ =\ 1\ -\ \displaystyle \max_i P(C_i | t)$
2. 交差エントロピーまたは逸脱度 (deviance)
  $I (t)\ =\ - \displaystyle \sum_{i=1}^{K} P(C_i | t) \log P(C_i | t)$
3. ジニ係数 (Gini Index)
  $\begin{align} I (t)\ &=\ \displaystyle \sum_{i=1}^{K} \sum_{j \neq i} P(C_i | t) P(C_j | t) \\ &=\ \left(\displaystyle \sum_{i=1}^{K} P(C_i | t) \right)^{2}\ -\ \displaystyle \sum_{i=1}^{K}P(C_i | t)^{2} \\ &=\ 1\ -\ \displaystyle \sum_{i=1}^{K} P(C_i | t)^{2} \\ &=\ \displaystyle \sum_{i=1}^{K} P(C_i | t) (1\ -\ P(C_i | t)) \end{align}$

yhayato1320.hatenablog.com

#アルゴリズム編 #03

木の剪定アルゴリズム
yhayato1320.hatenablog.com

Regression Tree

データ集合.

$D$

コスト関数

$Cost(D)\ =\ \displaystyle \sum_{i\ \in\ D} (y_{i}\ -\ \bar{y})$

$\bar{y}$ は、予測の平均

$\bar{y}\ =\ \displaystyle \frac{1}{|D|} \displaystyle \sum_{i\ \in\ D} y_{i}$

を表す.

応用アルゴリズム

ランダムフォレスト / Random Forests

ランダムフォレスト / Random Forests
- yhayato1320.hatenablog.com

Light GBM

Light GBM
- yhayato1320.hatenablog.com

実装編

実装編 #01
- タスク : 時系列予測
- データセット : Monthly Airline Passenger Numbers 1949-1960
- yhayato1320.hatenablog.com
実装編 #02
- タスク : 金融時系列予測
- yhayato1320.hatenablog.com

参考

はじめてのパターン認識
- 11 識別器の組み合わせによる性能強化
  - 11.2 決定木
- はじめてのパターン認識
  - 作者:平井有三
  - 森北出版
  Amazon
Machine Learning A Probabilistic Perspective
- 16 Adaptive basis function models
  - 16.2 Classification and regression trees (CART)
- Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series)
  - 作者:Murphy, Kevin P.
  - The MIT Press
  Amazon
アンサンブル法による機械学習
- 1 はじめに
  - 1.2 よく用いられる学習アルゴリズム
    - 1.2.2 決定木
- [asin:B073F12L1V:detail]

Web サイト

XGBoostとLightGBMの理論の解説
- tomtom58.hatenablog.com