オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【機械学習】Window-Base GBRT

【機械学習】Window-Base GBRT

データサイエンス データサイエンス-時系列解析

Index

Window-Base GBRT

Window-Base Gradient Boosting Regression Tree



時系列解析 / 予測における研究.

DeepLearning を利用したアルゴリズムとの比較研究.

定式化

変数定義

実数 R の部分集合 X,\ Y\ \subseteq\ R とする.

X に対して、

X^{*}\ :=\ \displaystyle \bigcup_{T\ \in\ N}\ X^{T}


とする.



x\ \in\ X^{T}\ \subseteq\ X^{*} に対して、

|x|\ :=\ T ( x の長さ)

x\ =\ \begin{pmatrix}a_1 \\ a_2 \\ \vdots \\ x_T \end{pmatrix}


とする.

T は、時系列データの長さ.

時系列予測

説明変数と目的変数を以下の様に定義.

X\ :=\ (R^{M}\ \times\ R^{L}) \\ Y\ :=\ R^{h\ \times\ L}

M,\ L,\ h\ \in N


  • L : 目的変数の 次元数 / チャネル数
  • M : 説明変数とは異なる入力項目 Covariates / 共変量 の数



データセット D は、

D\ =\ X\ \times\ Y


と定義する.



Loss Function は、

l\ :\ Y\ \times\ Y\ \rightarrow\ R



予測関数 は、

\hat{y}\ :\ X\ \rightarrow\ Y



以下の目的関数を最適化する予測関数を探索する.

\displaystyle \min\ E[\ l\ (\ y^{'},\ \hat{y} (x)\ )]


損失関数の平均を最小化した予測関数を見つけたい.

2 つケース

ケース 1

チャネルが 1 つしかなく (単変量)、共変量が考慮さていない.

L\ =\ 1,\ M\ =\ 0

ケース 2

多変量の時系列解析.

L\ =\ 1,\ M\ >\ 0

Feature Engineering

GBRT モデルは、テーブルデータなどには有効.

しかし、時系列データへの適用となると、ある区間における関連性についての情報を柔軟に利用する手段をを失う.

そのために、時系列データを Windowed Input へ変換する.

ここでは、window size \omega\ \in\ N としている.

2D to 1D

2 次元の時系列データ / インスタンス を GBRT へ入力可能な形式 1D へ平滑化する.

Multi Output Wrapper

変換したベクトルを、複数出力に対応した GBRT へ入力する.



GBRT は、複数出力に対応していないため、Single Target Method などを利用する.

この方法は、予測器の数を出力するサイズに拡張する.

また、この手法では、予測範囲の目的変数が個別に予測されるため、各予測モデルが、 各目的変数の情報を得られないという性質がある.

これは、将来のある範囲予測に対して、影響を及ぼし合わないという利点でもある.

参考

  • Do We Really Need Deep Learning Models for Time Series Forecasting?
    • [2021]
    • 2 Research Design
    • 3 Problem Formulation
    • arxiv.org

Web サイト