オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【機械学習】基底関数モデル / Basis Function Models

線形基底関数モデル / Liner Basis Function Models

yhayato1320.hatenablog.com

適応基底関数モデル / Adaptive Basis Function Models (ABM)

非線形モデルを作成するための方法としてカーネル法があります. これはうまく機能する方法ですが、優れたカーネル関数があることを前提とし、それに依存します. 多くの場合、優れたカーネル関数を思案することは困難なケースが多いです.



そこで、別のアプーチとして、カーネル法を利用せず、 入力データから直接有用な特徴量を学習しようとすることです. そこで、以下のような Adaptive Basis Function Model (ABM) と呼ばれるものを用意します.

 f(x)\ =\ w_0\ +\ \displaystyle \sum_{m=1}^{M} w_m \phi_m(x)

 \phi_m (x) はデータから学習する基底関数



上の線形基底関数モデルでは、 基底関数や、(非線形に適用するのであれば)カーネル関数は、予め、利用者の裁量で決定する必要があり、 それが精度に依存すことがある.
「基底関数の決定」をデータから学習(適用)する形式で、決定することで、精度をあげる方法.



その「基底関数の決定」する規則・手法の一つとして、決定木 / Desicion Treeがあります.

yhayato1320.hatenablog.com

参考