Index
TabNet
テーブルデータを入力とする深層学習手法.
- 深層学習 #まとめ編
特徴量選択 / Feature Selection
特徴量選択とは、予測に有用な特徴量を選択.
Global Method
Ward Selection や Lasso Regularization (正則化) は、
学習データ全体に基づいて、特徴量の重要性を特定する.
- Regularization
この様な手法を、Global Method と呼ぶ.
Instance Wise
また、入力ごとに個別に特徴量を選択する手法を Instance Wise とよぶ.
- Ensumble
Soft Feature Selection / Sparse Feature Selection
TabNet は、Soft Feature Selection が導入されている.
Soft Feature Selection は、制御可能でスパース性を持つ.
Sequential Attention を使用して、特徴量選択 / Feature Selection を行う.
アルゴリズムの構成
Tree Based Learning / Decision Tree
Decision Tree は、表形式 / Tabular のデータによく使用される.
Decision Tree #まとめ編
Random Forests
- XGBoost
- LightGBM
DNN の導入
Sequential Attention を使用して、特徴量選択 / Feature Selection を行うことで、 Decision Tree に DNN を導入している.
教師なし事前学習 / Unsupervised Pre-Training
自己教師あり / Self Supervised
事前学習 / Pre Training
Optimize
Gradient Descent を利用して最適化を行う.
Tabular Learning
このアルゴリズムにおけるテクニック.
Sequential Attention
参考
- TabNet: Attentive Interpretable Tabular Learning
- [2019]
- 0 Abstract
- 1 Introduction
- 2 Related Work
- 2.1 Feature selection
- 2.2 Tree-based learning
- 2.3 Integration of DNNs into DTs
- 2.4 Self-supervised learning
- 3 TabNet for Tabular Learning
- 3.1 Feature selection
- 3.2 Feature processing
- 3.3 Feature processing
- 3.4 Interpretability
- 3.5 Tabular self-supervised learning
- 4 Experiments
- 4.1 Instance-wise feature selection
- 4.2 Performance on real-world datasets
- arxiv.org