オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

このブログについて

このブログでは、数学・統計学機械学習・プログラミングに関した記事を記していきます. 基本的には、私的な勉強のアウトプット / メモを目的としていますが、できるだけ整理して書いていきます. また、記事ごとのテーマ(「最小二乗法」、「確率」など)は明確にして、 「#アルゴリズム」、「#実装編」のような表記で内容を分割して書いていきます.

まとめページ

記事には「#まとめ編」と題しまして、あるテーマに沿った記事が複数書きましたら、 後から読みやすいようにするために、記事をまとめたページを作成しております.

以下、作成したまとめページです.

理論分野

数学 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
線形代数 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

数理最適化

分野一覧 #まとめ編 yhayato1320.hatenablog.com

統計学

統計学・確率 #まとめ編 yhayato1320.hatenablog.com
ベイズ統計学 #まとめ編 yhayato1320.hatenablog.com
回帰分析 #まとめ編 yhayato1320.hatenablog.com

機械学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Algorithm / Decision Tree
#まとめ編
yhayato1320.hatenablog.com
Technique / 識別関数
#まとめ編
yhayato1320.hatenablog.com
Technique / データ分割
#まとめ編
yhayato1320.hatenablog.com
Technique / Ensemble Learning
#まとめ編
yhayato1320.hatenablog.com
Technique / Data Augmentation
#まとめ編
yhayato1320.hatenablog.com
Technique / パラメータ推定法
#まとめ編
yhayato1320.hatenablog.com
Technique / モデル評価
#まとめ編
yhayato1320.hatenablog.com
Technique / 類似度
#まとめ編
yhayato1320.hatenablog.com

深層学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Skip Layer Connection #まとめ編 yhayato1320.hatenablog.com
Metric Learning / Distance Learning
#まとめ編
yhayato1320.hatenablog.com
Auto Regression Model / 自己回帰モデル
#まとめ編
yhayato1320.hatenablog.com
タスク一覧 #まとめ編 yhayato1320.hatenablog.com
生成モデル #まとめ編 yhayato1320.hatenablog.com

Convolutional Neural Network / CNN

Convolutional Neural Network / CNN #まとめ編 yhayato1320.hatenablog.com
PixelCNN #まとめ編 yhayato1320.hatenablog.com
Darknet #まとめ編 yhayato1320.hatenablog.com

Recurrent Neural Network / RNN

Attention

深層学習
Attention #まとめ編
yhayato1320.hatenablog.com
画像処理
Attention #まとめ編
yhayato1320.hatenablog.com

Transformer

深層学習
Transformer #まとめ編
yhayato1320.hatenablog.com
深層学習
BERT #まとめ編
yhayato1320.hatenablog.com
深層学習
GPT #まとめ編
yhayato1320.hatenablog.com
深層学習
XLM #まとめ編
yhayato1320.hatenablog.com

データ分野

データセット #まとめ編 yhayato1320.hatenablog.com
時系列データセット #まとめ編 yhayato1320.hatenablog.com

系列データ

自然言語処理

自然言語処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 分散表現 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 文章生成 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / LLM #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / Transformer #まとめ編 yhayato1320.hatenablog.com

音響解析

音響解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
音声解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

時系列解析

時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
金融時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

画像処理

画像処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
画像処理 / Attention #まとめ編 yhayato1320.hatenablog.com
画像処理 / タスク一覧 #まとめ編 yhayato1320.hatenablog.com

物体認識 / 画像分類

画像処理 / 物体認識
#まとめ編
yhayato1320.hatenablog.com

物体検出 / Object Detection

画像処理 / 物体検出
#まとめ編 #00
yhayato1320.hatenablog.com
画像処理 / 物体検出
#まとめ編 #01 (#実装編)
yhayato1320.hatenablog.com
機械学習 / 物体検出 #まとめ編 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #00
yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #01 (CNN)
yhayato1320.hatenablog.com
深層学習 / 物体検出 / YOLO
#まとめ編
yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #02 (Attention)
yhayato1320.hatenablog.com

グラフ / Graph

分野一覧 yhayato1320.hatenablog.com
Graph Embedding yhayato1320.hatenablog.com

テーブル / Tabular

点群処理 / 3D解析

分野一覧 #まとめ編 yhayato1320.hatenablog.com
NeRF #まとめ編 yhayato1320.hatenablog.com

複合データ

  • 動画像処理

動画像処理

時系列解析 x 画像処理



分野一覧 #まとめ編 yhayato1320.hatenablog.com
物体追跡 #まとめ編 yhayato1320.hatenablog.com

3D Video / 4D

時系列解析 x 点群処理

Multi-tile Video / MTV / 2023

  • 3D Video Loops from Asynchronous Input

マルチモーダル

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Vision Language #まとめ編 yhayato1320.hatenablog.com
Natural Language Supervision
#まとめ編
yhayato1320.hatenablog.com
CLIP
#まとめ編
yhayato1320.hatenablog.com

タスク

【深層学習】MobileNet #まとめ編

Index

MobileNet

Google が研究している実行効率におけるCNNネットワークアーキテクチャの改善手法.

V1 / 2017

V2 / 2018

V3 / 2019

V4 / 2024

  • MobileNetV4 -- Universal Models for the Mobile Ecosystem

【深層学習】RepVGG

Index

RepVGG

VGG の改善.

Architecture

参考

  • RepVGG: Making VGG-style ConvNets Great Again
    • [2021]
    • 1 Introduction
      • VGG / Inception / ResNet / DenseNet
      • Xception / MobileNet / ShuffleNet
    • arxiv.org

Web サイト

【深層学習】DyHead

Index

DyHead

3 つの awareness

  • Scale-awareness
  • Spatial-awareness
  • Task-awareness

Architecture

参考

  • Dynamic Head: Unifying Object Detection Heads with Attentions
    • [2021]
    • 2 Related Work
      • Scale-awareness
      • Spatial-awareness
      • Task-awareness
    • 3 Our Approach
      • 3.2 Dynamic Head: Unifying with Attentions
        • Scale-aware Attention
        • Spatial-aware Attention
        • Task-aware Attention
    • arxiv.org

Web サイト

  • Dynamic Headの論文の内容について |物体検出(Object Detection)の研究トレンドを俯瞰する #6

【機械学習】Smooth L1 Loss

Index

Smooth L1 Loss

機械学習などに利用される誤差関数 / 損失関数のひとつ.

物体検出のFast R-CNNに利用されている.

参考

【機械学習】Huber損失 / Huber Loss

Index

Huber損失 / Huber Loss

機械学習などに利用される誤差関数 / 損失関数のひとつ.

参考

【機械学習】二乗平均平方根誤差 / Root Mean Squared Error / RMSE

Index

二乗平均平方根誤差 / Root Mean Squared Error / RMSE

機械学習などに利用される誤差関数 / 損失関数のひとつ.

 E\ =\ \displaystyle \sqrt{\frac{1}{n} \displaystyle \sum_{i} (y_{i}\ -\ t_{i})^{2}}

参考