オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

このブログについて

このブログでは、数学・統計学機械学習・プログラミングに関した記事を記していきます. 基本的には、私的な勉強のアウトプット / メモを目的としていますが、できるだけ整理して書いていきます. また、記事ごとのテーマ(「最小二乗法」、「確率」など)は明確にして、 「#アルゴリズム」、「#実装編」のような表記で内容を分割して書いていきます.

まとめページ

記事には「#まとめ編」と題しまして、あるテーマに沿った記事が複数書きましたら、 後から読みやすいようにするために、記事をまとめたページを作成しております.

以下、作成したまとめページです.

理論分野

線形代数

数理最適化

分野一覧 #まとめ編 yhayato1320.hatenablog.com

統計学

統計学・確率 #まとめ編 yhayato1320.hatenablog.com
ベイズ統計学 #まとめ編 yhayato1320.hatenablog.com
回帰分析 #まとめ編 yhayato1320.hatenablog.com

機械学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Algorithm / Decision Tree
#まとめ編
yhayato1320.hatenablog.com
Technique / 識別関数
#まとめ編
yhayato1320.hatenablog.com
Technique / データ分割
#まとめ編
yhayato1320.hatenablog.com
Technique / Ensemble Learning
#まとめ編
yhayato1320.hatenablog.com
Technique / Data Augmentation
#まとめ編
yhayato1320.hatenablog.com
Technique / パラメータ推定法
#まとめ編
yhayato1320.hatenablog.com
Technique / モデル評価
#まとめ編
yhayato1320.hatenablog.com
Technique / 類似度
#まとめ編
yhayato1320.hatenablog.com

深層学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Skip Layer Connection #まとめ編 yhayato1320.hatenablog.com
Metric Learning / Distance Learning
#まとめ編
yhayato1320.hatenablog.com
Auto Regression Model / 自己回帰モデル
#まとめ編
yhayato1320.hatenablog.com
タスク一覧 #まとめ編 yhayato1320.hatenablog.com

Convolutional Neural Network / CNN

Convolutional Neural Network / CNN #まとめ編 yhayato1320.hatenablog.com
PixelCNN #まとめ編 yhayato1320.hatenablog.com
Darknet #まとめ編 yhayato1320.hatenablog.com

Recurrent Neural Network / RNN

Attention

深層学習
Attention #まとめ編
yhayato1320.hatenablog.com
画像処理
Attention #まとめ編
yhayato1320.hatenablog.com

Transformer

深層学習
Transformer #まとめ編
yhayato1320.hatenablog.com
深層学習
BERT #まとめ編
yhayato1320.hatenablog.com
深層学習
GPT #まとめ編
yhayato1320.hatenablog.com
深層学習
XLM #まとめ編
yhayato1320.hatenablog.com

データ分野

データセット #まとめ編 yhayato1320.hatenablog.com
時系列データセット #まとめ編 yhayato1320.hatenablog.com

系列データ

自然言語処理

自然言語処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 分散表現 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 文章生成 #まとめ編 yhayato1320.hatenablog.com

音響解析

音響解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
音声解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

時系列解析

時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
金融時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

画像処理

画像処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
画像処理 / Attention #まとめ編 yhayato1320.hatenablog.com
画像処理 / タスク一覧 #まとめ編 yhayato1320.hatenablog.com

物体認識 / 画像分類

画像処理 / 物体認識
#まとめ編
yhayato1320.hatenablog.com

物体検出 / Object Detection

画像処理 / 物体検出
#まとめ編 #00
yhayato1320.hatenablog.com
画像処理 / 物体検出
#まとめ編 #01 (#実装編)
yhayato1320.hatenablog.com
機械学習 / 物体検出 #まとめ編 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #00
yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #01 (CNN)
yhayato1320.hatenablog.com
深層学習 / 物体検出 / YOLO
#まとめ編
yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #02 (Attention)
yhayato1320.hatenablog.com

グラフ / Graph

テーブル / Tabular

点群処理

複合データ

  • 動画像処理

動画像処理

時系列解析 x 画像処理



分野一覧 #まとめ編 yhayato1320.hatenablog.com
物体追跡 #まとめ編 yhayato1320.hatenablog.com

マルチモーダル

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Vision Language #まとめ編 yhayato1320.hatenablog.com
Natural Language Supervision
#まとめ編
yhayato1320.hatenablog.com
CLIP
#まとめ編
yhayato1320.hatenablog.com

タスク

【深層学習】Weight Initialization

Index

Weight Initialization

深層学習における重みパラメータの最初の決定方法.

アルゴリズム

ZerO / 2021

  • ZerO Initialization: Initializing Neural Networks with only Zeros and Ones

参考

  • Weight Initialization Techniques for Deep Learning Algorithms in Remote Sensing: Recent Trends and Future Perspectives

【深層学習】Hungry Hungry Hippo / H3

Index

Hungry Hungry Hippo / H3

参考

  • Hungry Hungry Hippos: Towards Language Modeling with State Space Models

【時系列解析】Attention #まとめ編

Index

Attention

時系列解析における Attention を用いた手法をまとめる.

アルゴリズム

Dual-Stage Attention-Base RNN / DA RNN / 2017

  • A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction

Transformer / 2017 -

Transformer を用いた時系列解析手法.

TSDFNet / 2022

  • Temporal Spatial Decomposition and Fusion Network for Time Series Forecasting

  • 気配りのある特徴値融合メカニズムで時系列予測するTSDFNet

H3 / 2022

【時系列解析】状態空間モデル / State Space Model / SSM

状態空間モデル

時系列解析の手法のひとつ.

カルマンフィルター / Kalman Filter

パーティクルフィルター / 粒子フィルター

応用

H3 / 2022

【深層学習】スタイル変換 / Style Transfer #まとめ編 #01

Index

スタイル変換 / Style Transfer

Diffusion Model を利用した、スタイル変換 / Style Transfer のアルゴリズムをまとめる.

Imagic / 2022

InstructPix2Pix / 2022

【深層学習】InstructPix2Pix

Index

InstructPix2Pix

Conditional Diffusion Model.

Conditional の部分に pix2pix を想起か?



Image Editing のタスク.

Method

学習画像の生成

Text の生成



GPT-3 を利用して、生成.

画像の生成



Stable Diffusion を利用して画像を生成する.

参考

  • InstructPix2Pix: Learning to Follow Image Editing Instructions
    • [2022]
    • 2 Prior work
      • Composing large pretrained models
      • Diffusion-based generative models
      • Generative models for image editing
    • 3 Method
      • 3.1 Generating a Multi-modal Training Dataset
    • arxiv.org

【解析学】分野一覧

Index

フーリエ変換 / Fourier Transform

積分