オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

このブログについて

このブログでは、数学・統計学・機械学習・プログラミングに関した記事を記していきます. 基本的には、私的な勉強のアウトプット / メモを目的としていますが、できるだけ整理して書いていきます. また、記事ごとのテーマ（「最小二乗法」、「確率」など）は明確にして、 「#アルゴリズム」、「#実装編」のような表記で内容を分割して書いていきます.

まとめページ

記事には「#まとめ編」と題しまして、あるテーマに沿った記事が複数書きましたら、 後から読みやすいようにするために、記事をまとめたページを作成しております.

以下、作成したまとめページです.

理論分野

数学 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
線形代数 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

数理最適化

分野一覧 #まとめ編 yhayato1320.hatenablog.com

統計学

統計学・確率 #まとめ編 yhayato1320.hatenablog.com
ベイズ統計学 #まとめ編 yhayato1320.hatenablog.com
回帰分析 #まとめ編 yhayato1320.hatenablog.com

機械学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Algorithm / Decision Tree
#まとめ編		 yhayato1320.hatenablog.com
Technique / 識別関数
#まとめ編		 yhayato1320.hatenablog.com
Technique / データ分割
#まとめ編		 yhayato1320.hatenablog.com
Technique / Ensemble Learning
#まとめ編		 yhayato1320.hatenablog.com
Technique / Data Augmentation
#まとめ編		 yhayato1320.hatenablog.com
Technique / パラメータ推定法
#まとめ編		 yhayato1320.hatenablog.com
Technique / モデル評価
#まとめ編		 yhayato1320.hatenablog.com
Technique / 類似度
#まとめ編		 yhayato1320.hatenablog.com

深層学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Skip Layer Connection #まとめ編 yhayato1320.hatenablog.com
Metric Learning / Distance Learning
#まとめ編		 yhayato1320.hatenablog.com
Auto Regression Model / 自己回帰モデル
#まとめ編		 yhayato1320.hatenablog.com
タスク一覧 #まとめ編 yhayato1320.hatenablog.com
生成モデル #まとめ編 yhayato1320.hatenablog.com

Convolutional Neural Network / CNN

Convolutional Neural Network / CNN #まとめ編 yhayato1320.hatenablog.com
PixelCNN #まとめ編 yhayato1320.hatenablog.com
Darknet #まとめ編 yhayato1320.hatenablog.com

Recurrent Neural Network / RNN

Attention

深層学習
Attention #まとめ編		 yhayato1320.hatenablog.com
画像処理
Attention #まとめ編		 yhayato1320.hatenablog.com

Transformer

深層学習
Transformer #まとめ編		 yhayato1320.hatenablog.com
深層学習
BERT #まとめ編		 yhayato1320.hatenablog.com
深層学習
GPT #まとめ編		 yhayato1320.hatenablog.com
深層学習
XLM #まとめ編		 yhayato1320.hatenablog.com

データ分野

データセット #まとめ編 yhayato1320.hatenablog.com
時系列データセット #まとめ編 yhayato1320.hatenablog.com

系列データ

  • 自然言語処理
  • 音響解析
  • 時系列解析

自然言語処理

自然言語処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 分散表現 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 文章生成 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / LLM #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / Transformer #まとめ編 yhayato1320.hatenablog.com

音響解析

音響解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
音声解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

時系列解析

時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
金融時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

画像処理

画像処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
画像処理 / Attention #まとめ編 yhayato1320.hatenablog.com
画像処理 / タスク一覧 #まとめ編 yhayato1320.hatenablog.com

物体認識 / 画像分類

画像処理 / 物体認識
#まとめ編		 yhayato1320.hatenablog.com

物体検出 / Object Detection

画像処理 / 物体検出
#まとめ編 #00		 yhayato1320.hatenablog.com
画像処理 / 物体検出
#まとめ編 #01 (#実装編)		 yhayato1320.hatenablog.com
機械学習 / 物体検出 #まとめ編 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #00		 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #01 (CNN)		 yhayato1320.hatenablog.com
深層学習 / 物体検出 / YOLO
#まとめ編		 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #02 (Attention)		 yhayato1320.hatenablog.com

グラフ / Graph

分野一覧 yhayato1320.hatenablog.com
Graph Embedding yhayato1320.hatenablog.com

テーブル / Tabular

点群処理 / 3D解析

分野一覧 #まとめ編 yhayato1320.hatenablog.com
NeRF #まとめ編 yhayato1320.hatenablog.com

複合データ

  • 動画像処理

動画像処理

時系列解析 x 画像処理



分野一覧 #まとめ編 yhayato1320.hatenablog.com
物体追跡 #まとめ編 yhayato1320.hatenablog.com

3D Video / 4D

時系列解析 x 点群処理

Physionical / 2021

単眼ビデオから物理的整合性を保ったまま高精度な3Dヒューマンモーションキャプチャを実現する、新しいニューラルネットワーク手法について. Physionical を提唱し、深層学習に剛体動力学モデルや比例微分 (PD) 制御を統合することで、従来の手法で頻発していた足の床突き抜けや不自然な震え、動きの遅延といった問題を劇的に改善. 本システムは完全微分可能な構造を持ち、3D注釈がない野外映像でも2Dデータのみで微調整が可能であり、リアルタイムかつ実用的な速度で動作する. 推定されたデータはバーチャルキャラクターの制御や関節トルクの可視化など、エンターテインメントからスポーツ分析まで幅広い分野に応用可能. ソース内では、カメラの内部パラメータに依存しない革新的な正準化手法や、物理的制約を最適化層として組み込む技術的詳細が詳述されている.

  • Neural Monocular 3D Human Motion Capture with Physical Awareness

Multi-tile Video / MTV / 2023

  • 3D Video Loops from Asynchronous Input

MAV3D / 2023

テキストから4D動的シーン (3次元空間＋時間) を生成する革新的なAI技術「MAV3D」について. この手法は、静止画生成や動画生成の技術を統合し、任意の視点から観察可能なアニメーション付き3次元資産を構築. 学習には4D専用のデータセットを必要とせず、既存のテキスト対動画拡散モデルを擬似的な多眼カメラとして活用し、動的な神経放射輝度場 (NeRF) を最適化. さらに、静止状態から動態へと段階的に最適化を行う手法や、高解像度化のためのファインチューニングを導入することで、視覚的整合性の高い高品質な出力を実現.

  • Text-To-4D Dynamic Scene Generation

マルチモーダル

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Vision Language #まとめ編 yhayato1320.hatenablog.com
Natural Language Supervision
#まとめ編		 yhayato1320.hatenablog.com
CLIP
#まとめ編		 yhayato1320.hatenablog.com

タスク

【機械学習】Plug and Play Active Learning / PPAL

Index

Plug and Play Active Learning / PPAL

物体検出のための効率的な能動学習手法である Plug and Play Active Learning (PPAL) を提案. 物体検出のデータ作成には多大なコストがかかるため、PPALはモデルに最も有益な画像のみを選択して学習効率を最大化. この手法は、物体の分類と位置特定の両方の難易度を考慮した不確実性サンプリングと、画像内の複数物体を比較して多様性を確保するCCMSという2段階のプロセスで構成されている. 既存のモデル構造や学習パイプラインを変更せずに導入できる「プラグアンドプレイ」な特性が大きな強み. 実験の結果、PPALは主要なデータセットにおいて従来の手法を大幅に上回る性能を示し、優れた汎用性を証明.

Plug and Play Active Learning for Object Detection

問題設定

1. 諸定義

全学習データセットを定義.

X_{T}\ =\ \{x_{i}\}_{i\ \in\ [N_{t}]}



検証データセットを定義.

X_{V}\ =\ \{x_{i}\}_{i\ \in\ [N_{v}]}



ラウンド r\ \ge\ 0 において、全学習データセットを 「すべてにラベルが付いているデータの集合 (ラベル付き集合 X_{L}^{r}) と 「まだラベルが付いていないデータの集合 (ラベルなし集合 X_{U}^{r})」にわける.

これら2つの集合に重複はなく、

X_{L}^{r}\ \cap\ X_{U}^{r}\ =\ \emptyset


合わせると、全学習データセットと等しくなる.

X_{L}^{r}\ \cup\ X_{U}^{r}\ =\ X_{T}


2. モデルの学習と性能評価

ラウンド r において、ラベル付き集合 X_{L}^{r} を用いて、物体検出モデル

f_{\theta}^{r} ( \theta はパラメータ)


を学習. 学習モデルの検証データセット X_{V} での評価を

Z(X_{V}\ |\ f_{\theta}^{r})


と表し、mAP で評価する.



3. クエリの選択とデータセットの更新

アノテーションの予算 b が与えられたとき、アクティブラーニングアルゴリズムはラベルなし集合 X_{U}^{r} の中から、 サイズ b の画像集合 (クエリセット X_{Q}^{r}\ \subseteq\ X_{U}^{r}) を選択し、アノテーションを要求する. アノテーションが完了すると、 次のラウンド r+1 に向けて、データセットを以下のように更新する.

ラベル付き集合に追加 : X_{L}^{r+1}\ =\ X_{L}^{r}\ \cup\ X_{Q}^{r}

ラベルなし集合から削除 : X_{U}^{r+1}\ =\ X_{U}^{r}\ -\ X_{Q}^{r}


そして、更新されたラベル付き集合を用いて、モデルを再学習し、新たなモデル f_{\theta}^{r+1} を得たのち、 Z(X_{V}\ |\ f_{\theta}^{r+1}) を計算する.

4. アクティブラーニングアルゴリズムの最終的な評価基準

このサイクルを k 回繰り返した後、アクティブラーニングアルゴリズムの優秀さは、 初期ラウンドからのパフォーマンス向上度

\Delta\ Z_{k, 0}\ =\ Z(X_{V}\ |\ f_{\theta}^{k})\ -\ Z(X_{V}\ |\ f_{\theta}^{0})


によって評価する. つまり、限られた予算の中で、最終的により大きなモデル性能の向上をもたらしたアルゴリズムが「優れている」と判断される.

Difficulty Calibrated Uncertainty Sampling / DCUS

PPAL における第1ステージ. このステージの目的は、ラベルのない大量のデータセットから、モデルの学習に最も貢献しそうな画像の集合を選ぶこと. 物体検出における不確実性サンプリングには、

  1. 分類と位置推定の両方をどう評価するか
  2. 検出が難しいカテゴリをどう優先するか



のような課題があるが、DCUS では、カテゴリごとの難易度係数 (Difficulty Coefficient) を導入することで対応する.

1. トレーニング中の難易度の測定と更新

まず、あるラウンドごとに各クラスの難易度を初期化する. そしてモデルの学習中に予測された BBox ごとに、以下のように学習難易度 (Training Difficulty) を計算する.

学習難易度 (Training Difficulty)

q(b\ |\ \hat{b})\ =\ 1\ -\ P(b\ |\ \hat{b})^{\xi}\ \cdot\ IoU(b,\ \hat{b})^{1\ -\ \xi}



ここでは、正確クラスに対する分類確率 ( P) と IoU の両方が組み込まれている.

これにより、分類と位置推定のどちらが難しくても、適切に難易度として評価されるようになる.



この各物体の難易度の平均を用いて、クラスごとの難易度を指数移動平均 (EMA) によって学習ステップごとに随時更新していく.

2. 難易度係数 (Difficulty Coefficient) の算出

学習が完了した後、記録されたクラスごとの難易度を元に、次回のサンプリングで使用するカテゴリごとの難易度係数 (Difficulty Coefficient)

W^{r}\ =\ \{w_{i}\}_{i\ \in\ [C]}


を計算する. この係数は、モデルが苦手とするクラスほど値が大きくなり、得意なクラスほど値が小さくなるように設計される.

3. 画像の不確実性 (Uncertainty) のスコアリング

ラベルのない未学習画像に対して、モデルで推論を行い、画像全体の不確実性を計算する. 具体的には、画像内から検出されたすべての物体に対して、「分類エントロピー (予測のばらつき、自信のなさ)」を計算し、 そこに先ほど求めた各物体のカテゴリに対応する「難易度係数」を掛け合わせて (再重み付けして) 合計する.

不確実性の計算式

U(I)\ =\ \displaystyle \sum_{i=1}^{M_{I}}\ w_{c(i)}\ \cdot\ \displaystyle \sum_{j=1}^{C'}\ - p_{i, j}\ \cdot\ \log(p_{i,\ j})





これにより、単に予測が曖昧なだけでなく、「そもそもモデルにとって検出が難しいクラスの物体」を多く含む画像の不確実性スコアがより高くなる仕組みになっている.

4. 候補プールの選択

最後に、計算された不確実性スコアが高い順にラベルなし画像を並べ替える. そして、最終的にアノテーションを行う予算 b に対して、 \delta 倍 ( \delta\ >\ 1) (予算拡張比率) の数の上位画像を抽出し、これを第2ステージに渡す「候補プール (Candidate Pool）」とする

Diversity Sampling for Multi-instance Images

PPALの第2ステージに該当する. 第1ステージで絞り込まれた候補プールの中から「多様性があり、かつ全体を代表する画像セット」をどのように選択するかを考える.

Plug and Play Active Learning for Object Detection

1. 従来手法の課題 (グローバル類似度の限界)

従来の多様性に基づくアクティブラーニングでは、選択するサンプル同士の類似度を最小化することで多様性を確保しており、その類似度計算には画像全体の特徴マップを平均化した「グローバル類似度（Global Similarity）」がよく用いられていた.

この手法は画像内に物体が1つだけ存在するようなデータセットには有効ですが、物体検出が対象とするような「1枚の画像に複数の異なる物体が含まれる (マルチインスタンス）」画像に適用すると、特徴を平均化する過程で細かい空間情報が失われてしまうという致命的な弱点があった.

2. 提案手法：CCMS (カテゴリ条件付きマッチング類似度)

上記の課題を解決するため、「2つの画像の類似度は、それぞれの画像に含まれるオブジェクト同士がどれだけ似ているかで測るべきである」というアイデアに基づき、CCMSが設計された.

  • オブジェクトの表現:
      • モデルによって検出された各オブジェクトは、「視覚的特徴（f）」「検出スコア（t）」「予測クラスラベル（c）」の3つの要素で表される.
  • オブジェクト間のマッチング:
      • 画像Aに含まれるあるオブジェクトに対し、画像Bの中から「同じカテゴリ（クラスラベル）に属する、最も類似したオブジェクト」を見つけ出し、特徴量同士の類似度を計算. 画像Bに同じカテゴリのオブジェクトが存在しない場合、類似度は0として扱われる.
  • 画像全体の類似度へ統合:
      • 上記で求めた各オブジェクトの類似度を、それぞれの検出スコアで重み付けして平均化する. 最後に、画像Aから画像Bへの類似度と、画像Bから画像Aへの類似度の平均をとることで、指標としての対称性を保証.

3. ALクエリの最終サンプリング (改良型 k-means++)

計算されたCCMSを用いて、最終的にアノテーション予算分の画像をサンプリングする. 目的は選択された画像間の類似度を最小化 (多様性を最大化) することですが、これは計算量が膨大になるNP困難な問題である.

  • k-Center-Greedyによる初期選択:
      • 近似解を得るためにk-Center-Greedyアルゴリズムを使用. しかし、これだけだと多様性を重視しすぎるあまり、全体からかけ離れた「外れ値（特異な画像）」を選びやすくなってしまう.

  • 改良型 k-means++ による調整:
      • 外れ値を避けて全体を「代表する」画像を適切に選ぶため、k-Center-Greedyの結果を初期の重心（クラスタの中心）として、k-means++アルゴリズムを実行する.


通常のk-meansアルゴリズムではデータの座標の平均を計算して重心を更新するが、ここでは画像同士の「類似度」しか手元にない. そこで、「同じクラスタ内の他のすべての画像との類似度の合計が最大となる画像」を新たな重心として割り当てるという工夫でこの問題を解決. このようにして最終的に選び抜かれた画像セットが、次のラウンドでアノテーションを依頼するためのクエリとなる.

参考

  • Plug and Play Active Learning for Object Detection
    • [2022]
    • 3 Method
      • 3.1 Problem Statement
      • 3.2 Difficulty Calibrated Uncertainty Sampling
      • 3.3 Diversity Sampling for Multi-instance Images
    • arxiv.org

【機械学習】Active Learning

Index

Active Learning

手法

ALLWAS / 2021

画像処理における手法

Object Detection における手法

Plug and Play Active Learning / PPAL / 2022

物体検出のための効率的な能動学習手法である Plug and Play Active Learning (PPAL) を提案. 物体検出のデータ作成には多大なコストがかかるため、PPALはモデルに最も有益な画像のみを選択して学習効率を最大化. この手法は、物体の分類と位置特定の両方の難易度を考慮した不確実性サンプリングと、画像内の複数物体を比較して多様性を確保するCCMSという2段階のプロセスで構成されている. 既存のモデル構造や学習パイプラインを変更せずに導入できる「プラグアンドプレイ」な特性が大きな強み. 実験の結果、PPALは主要なデータセットにおいて従来の手法を大幅に上回る性能を示し、優れた汎用性を証明.

Plug and Play Active Learning for Object Detection


【深層学習】Mamba

Index

Mamba

従来のTransformerが抱える長いシーケンスへの計算効率の課題を解決する新しいモデル. Mambaは、入力内容に応じて情報を選択的に保持・破棄できる選択的状態空間モデル (Selective SSM) を採用し、処理時間を劇的に短縮した. この設計により、メモリ使用量はシーケンス長に対して線形にスケールし、推論速度は Transformer の約5倍に達っする. 言語、音声、ゲノミクスなどの多様な領域で、Mambaは数百万規模の長文コンテキストを効率的に処理し、同等サイズの既存モデルを凌駕する高い精度を実証. ハードウェアの特性を考慮した並列アルゴリズムの実装により、次世代の基盤モデルとしての可能性を提示した革新的な研究.

応用

Mamba-2 / 2024

  • Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

MambaVision / 2024

Vision へ.

  • MambaVision: A Hybrid Mamba-Transformer Vision Backbone

Samba / 2024

  • Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling

Nemotron-H / 2025

  • Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models

Nemotron Nano 2 / 2025

NVIDIA-Nemotron-Nano-9B-v2-Japanese

  • [失敗談] NVIDIA-Nemotron-Nano-9B-v2-JapaneseをColabで使おうとしたが躓いた話

Nemotron 3 Nano / 2026

参考

  • Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Web サイト

  • github.com

    • 手法まとまっている

  • 【Mamba入門】Transformerを凌駕しうるアーキテクチャを解説（独自の学習・推論コード含む）

【深層学習】ControlNets

Index

ControlNets

拡散モデルを humanpose など様々な条件で制御できるようにした. 学習する条件部NNはゼロ重みで初期化した層で入力と出力を挟み、固定の学習済み拡散モデルUNetの復号部に加える. 学習時プロンプトは半分の確率でドロップアウトし、条件部利用を促進させる.

参考

【深層学習】Qwen

Index

Qwen

改善アルゴリズム

Qwen2 / 2024

Qwen3 / 2025

VLM

Qwen-VL / 2023

Qwen2-VL / 2024

  • Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution

Qwen2.5-VL / 2025

  • Qwen2.5-VL Technical Report

Qwen3-VL / 2025

モデル

Qwen 3.5

  • Qwen3.5: Towards Native Multimodal Agents

参考

【画像処理】Amodal Completion

Index

Amodal Completion

Amodal Completion とは、対象物が部分的に隠れて / オクルージョンされていても、人間がその対象物全体を知覚できる「視覚的な能力」のことを指す. コンピュータビジョンのタスクとしての Image Amodal Completion は、この人間のような知覚能力をコンピュータに持たせ、隠蔽されたオブジェクトの全体像を理解できるようにすることを目的としている.

アルゴリズム

pix2gestalt / 2024

  • pix2gestalt: Amodal Segmentation by Synthesizing Wholes
    • [2024]

SAMEO / 2025

  • Segment Anything, Even Occluded

参考

  • Image Amodal Completion: A Survey

【音楽解析】Singing Voice Conversion

Index

Singing Voice Conversion

ある歌手 (ソース) の歌声を、そのメロディや歌詞の内容 (言語情報) を保ったまま、別の歌手 (ターゲット) の声質に変換するタスク.

アルゴリズム

DiffSVC / 2021

拡散確率モデルを初めてSinging Voice Conversion (SVC) に適用した革新的なシステム DiffSVC を提案. このモデルは、入力された歌唱から音素事後確率 (PPG）、基本周波数、音量などの特徴量を抽出し、ノイズから高品質なメルスペクトログラムを段階的に復元. 従来のGANやRNNベースの手法と比較して、より自然な歌声と高い話者類似性を実現している点が大きな特徴. 実験の結果、主観評価と客観評価の両面で既存の最新技術を上回る性能が確認された.

  • DiffSVC: A Diffusion Probabilistic Model for Singing Voice Conversion

ROSVC / 2022

未知の歌手の声へ変換する One Shot Singing Voice Conversion の品質と堅牢性を向上させる新技術 ROSVC について. 従来の技術では困難だった複雑な音高の再現や、リバーブ、伴奏音といった音響的な歪みへの耐性を高めるため、独自のネットワーク構造が提案. 具体的には、ピッチを正確に制御する AdaIN-skip や、歪んだ音源から特徴を抽出する二段階学習法 Robustify が導入. さらに、歌声特有の表現を高品質に波形化するため、複数のサンプリングレートで動作する階層型拡散モデルを開発. 実験の結果、この手法は既存のモデルを凌駕し、ノイズの多い実用的な環境でも極めて高い変換精度を実現することが証明された.

  • Robust One-Shot Singing Voice Conversion