オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】TabNet

Index

TabNet

テーブルデータを入力とする深層学習手法.

特徴量選択 / Feature Selection

特徴量選択とは、予測に有用な特徴量を選択.

Global Method

Ward Selection や Lasso Regularization (正則化) は、 学習データ全体に基づいて、特徴量の重要性を特定する.

この様な手法を、Global Method と呼ぶ.

Instance Wise

また、入力ごとに個別に特徴量を選択する手法を Instance Wise とよぶ.

Soft Feature Selection / Sparse Feature Selection

TabNet は、Soft Feature Selection が導入されている.

Soft Feature Selection は、制御可能でスパース性を持つ.

Sequential Attention を使用して、特徴量選択 / Feature Selection を行う.

アルゴリズムの構成

Tree Based Learning / Decision Tree

Decision Tree は、表形式 / Tabular のデータによく使用される.

DNN の導入

Sequential Attention を使用して、特徴量選択 / Feature Selection を行うことで、 Decision Tree に DNN を導入している.

教師なし事前学習 / Unsupervised Pre-Training



教師なし学習のひとつである自己教師あり学習を利用.

Optimize

Gradient Descent を利用して最適化を行う.

Tabular Learning

このアルゴリズムにおけるテクニック.

Sequential Attention

参考

  • TabNet: Attentive Interpretable Tabular Learning
    • [2019]
    • 0 Abstract
    • 1 Introduction
    • 2 Related Work
      • 2.1 Feature selection
      • 2.2 Tree-based learning
      • 2.3 Integration of DNNs into DTs
      • 2.4 Self-supervised learning
    • 3 TabNet for Tabular Learning
      • 3.1 Feature selection
      • 3.2 Feature processing
      • 3.3 Feature processing
      • 3.4 Interpretability
      • 3.5 Tabular self-supervised learning
    • 4 Experiments
      • 4.1 Instance-wise feature selection
      • 4.2 Performance on real-world datasets
    • arxiv.org

Web

  • Tabnetはどのように使えるのか

  • TabNetとは一体何者なのか?