オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

このブログについて

このブログでは、数学・統計学・機械学習・プログラミングに関した記事を記していきます. 基本的には、私的な勉強のアウトプット / メモを目的としていますが、できるだけ整理して書いていきます. また、記事ごとのテーマ（「最小二乗法」、「確率」など）は明確にして、 「#アルゴリズム」、「#実装編」のような表記で内容を分割して書いていきます.

まとめページ

記事には「#まとめ編」と題しまして、あるテーマに沿った記事が複数書きましたら、 後から読みやすいようにするために、記事をまとめたページを作成しております.

以下、作成したまとめページです.

理論分野

数理最適化

分野一覧 #まとめ編 yhayato1320.hatenablog.com

統計学

機械学習

深層学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Auto Regression Model / 自己回帰モデル
#まとめ編		 yhayato1320.hatenablog.com
タスク一覧 #まとめ編 yhayato1320.hatenablog.com

Convolutional Neural Network / CNN

Recurrent Neural Network / RNN

Generative Adversarial Network / GAN

Attention

深層学習
Attention #まとめ編		 yhayato1320.hatenablog.com
画像処理
Attention #まとめ編		 yhayato1320.hatenablog.com

Transformer

深層学習
Transformer #まとめ編		 yhayato1320.hatenablog.com
深層学習
BERT #まとめ編		 yhayato1320.hatenablog.com
深層学習
GPT #まとめ編		 yhayato1320.hatenablog.com
深層学習
XLM #まとめ編		 yhayato1320.hatenablog.com

データ分野

系列データ

自然言語処理

時系列解析

時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
金融時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

画像処理

画像処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
画像処理 / Attention #まとめ編 yhayato1320.hatenablog.com
画像処理 / タスク一覧 #まとめ編 yhayato1320.hatenablog.com

物体認識 / 画像分類

画像処理 / 物体認識
#まとめ編		 yhayato1320.hatenablog.com

物体検出 / Object Detection

画像処理 / 物体検出
#まとめ編 #00		 yhayato1320.hatenablog.com
画像処理 / 物体検出
#まとめ編 #01 (#実装編)		 yhayato1320.hatenablog.com
機械学習 / 物体検出 #まとめ編 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #00		 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #01 (CNN)		 yhayato1320.hatenablog.com
深層学習 / 物体検出 / YOLO
#まとめ編		 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #02 (Attention)		 yhayato1320.hatenablog.com

複合データ

  • 動画像処理

動画像処理

時系列解析 x 画像処理



分野一覧 #まとめ編 yhayato1320.hatenablog.com

マルチモーダル

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Natural Language Supervision
#まとめ編		 yhayato1320.hatenablog.com
CLIP
#まとめ編		 yhayato1320.hatenablog.com

【深層学習】ディープニューラルネットワーク / Deep Neural Network / DNN #実装編

データサイエンス データサイエンス-深層学習

Index

ディープニューラルネットワーク / Deep Neural Network / DNN

前置き

Library

DeepLearning の Library は PyTorch を使用してみる.

実装

参考

【深層学習】表現学習 / Representation Learning

データサイエンス データサイエンス-深層学習

Index

表現学習 / Representation Learning

生成における概念

表現学習の核となる考えは、 高次元の標本空間を直接モデル化するのではなく、 ある低次元の空間 (表現空間 / Embedding Space) を使って、 訓練データ内の各観測を記述し、 その後、低次元空間の中の 1 点に写像する写像関数を学習する.



表現学習を使うことの利点の1 つは、より扱いやすい潜在空間の中で、高次元空間のデータに影響する操作を実行できる.

参考

  • Representation Learning: A Review and New Perspectives

  • A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation

    • [2020]
    • 理想的な表現空間について
    • arxiv.org

  • Survey on Self-supervised Representation Learning Using Image Transformations

書籍

Web サイト

【画像処理】テンプレートマッチング / Template Matching #実装編

データサイエンス データサイエンス-画像処理

Index

テンプレートマッチング / Template Matching

入力の画像データ(もしくは、その特徴量ベクトル)と、 テンプレート画像(複数でも)と、画像空間 (もしくは、特徴空間)における距離 (場合によっては誤差と解釈) を計算する.

その距離を元に類似度として測定したり、分類・検出のタスクに持ってくことができる.

実装

参考

【画像処理】テンプレートマッチング / Template Matching #アルゴリズム編

データサイエンス データサイエンス-画像処理

Index

テンプレートマッチング / Template Matching

入力の画像データ(もしくは、その特徴量ベクトル)と、 テンプレート画像(複数でも)と、画像空間 (もしくは、特徴空間)における距離 (場合によっては誤差と解釈) を計算する.

その距離を元に類似度として測定したり、分類・検出のタスクに持ってくことができる.

物体認識 / 画像分類での利用

物体認識 / 画像分類での利用を考える.

KNN のように、分類対象の画像の特徴量ベクトルが、特徴空間において、 どのようなクラスの特徴量と位置しているかを考える.

KNN とは、異なりクラスの代表点のみとの距離を利用する.

物体検出での利用

スライディングウィンドウと併用で利用する.

距離 / 誤差の計算

入力画像の特徴ベクトルを x\ \in R^{D} とする.

また、2 次元の (もしくは 3 次元) 入力画像をそのまま、計算に使用することも可能で、その場合は以下のように変換されていると考えればよい.

I(a, b)\ =\ x_{i}



また、テンプレート画像の特徴ベクトルを y \ \in\ R^{D} とする.

今回は距離 / 誤差を算出する関数は、 F で表す.

ユークリッド距離 / Euclid Distance

一般的に利用される距離.

F_{Euclid}\ =\ \sqrt{ \displaystyle \sum_{i}^{D} (x_{i}\ -\ y_{i})^{2} }



SSD / Sum of Squared Difference

二乗和誤差 / Sum of Squared Error / SSE や 残差平方和 / Residual Sum of Square / RSS と同義.

ユークリッド距離の二乗の値.

F_{SSD}\ =\ \displaystyle \sum_{i}^{D} (x_{i}\ -\ y_{i})^{2}



SAD / Sum of Absolute Difference

差分の絶対値の合計.

F_{SAD}\ =\ \displaystyle \sum_{i}^{D} | x_{i}\ -\ y_{i} |

NCC / Normalized Cross Correlation

正規化相互相関.

統計量でいう相関係数に近い.

F_{NCC}\ =\ \displaystyle \frac{ \displaystyle \sum_{i}^{D} x_{i}\ \cdot\ y_{i}} {\sqrt{\displaystyle \sum_{i}^{D} x_{i}^{2}}\ \sqrt{\displaystyle \sum_{i}^{D} x_{y}^{2}}}



参考

【深層学習】タスク一覧 #まとめ編

データサイエンス データサイエンス-深層学習

Index

深層学習のタスク

深層学習におけるタスクについてまとめる.

画像処理

物体検出 / Object Detection

セグメンテーション / Segmentation

【機械学習】決定木 / Decision Tree #まとめ編

データサイエンス データサイエンス-機械学習

Index

決定木 / Decision Tree

基本アルゴリズム

応用アルゴリズム

ランダムフォレスト / Random Forests

Light GBM

【時系列解析】機械学習手法 #まとめ編

データサイエンス データサイエンス-時系列解析

Index

機械学習手法

時系列解析における機械学習手法をまとめる.

統計モデルでは、「ある確率過程」を仮定したモデルを構築したが、機械学習を 用いた手法では、「背後にある確率過程」を仮定しない場合が多い.

代わりに、分類ラベルなど、予測結果に関係するように説明するパターンの特定に注力する場合が多い.

決定木 / Decision Tree

フローチャートのように、1 ステップずつ、1 つの変数が決定に及ぼす影響を考えて 進むことを繰り返す.

Window-Base GBRT / 2021

クラスタリング / Clustering

互いに類似するデータは、分析にとって意味のある集団を構成する.

深層学習手法

アルゴリズム

Temporal Regularized Matrix Factorization / TRMF / 2016

  • Temporal Regularized Matrix Factorization for High-dimensional Time Series Prediction

Long Short-term Time-series Network / LSTNet / 2017

  • Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks

Dual-Stage Attention-Base RNN / DA RNN / 2017

  • A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction

DeepAR / 2017

  • DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks

Deep State Space Model / DeepState / 2018

  • Deep State Space Models for Time Series Forecasting

Deep Air Quality Forecasting Framework / DAQFF / 2018

Temporal Fusion Transformer / TFT / 2019

  • Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting

Transformer

Transformer を用いた時系列解析手法.

参考

  • Machine Learning Advances for Time Series Forecasting

書籍