オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

このブログについて

このブログでは、数学・統計学・機械学習・プログラミングに関した記事を記していきます. 基本的には、私的な勉強のアウトプット / メモを目的としていますが、できるだけ整理して書いていきます. また、記事ごとのテーマ（「最小二乗法」、「確率」など）は明確にして、 「#アルゴリズム」、「#実装編」のような表記で内容を分割して書いていきます.

まとめページ

記事には「#まとめ編」と題しまして、あるテーマに沿った記事が複数書きましたら、 後から読みやすいようにするために、記事をまとめたページを作成しております.

以下、作成したまとめページです.

理論分野

数学 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
線形代数 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

数理最適化

分野一覧 #まとめ編 yhayato1320.hatenablog.com

統計学

統計学・確率 #まとめ編 yhayato1320.hatenablog.com
ベイズ統計学 #まとめ編 yhayato1320.hatenablog.com
回帰分析 #まとめ編 yhayato1320.hatenablog.com

機械学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Algorithm / Decision Tree
#まとめ編		 yhayato1320.hatenablog.com
Technique / 識別関数
#まとめ編		 yhayato1320.hatenablog.com
Technique / データ分割
#まとめ編		 yhayato1320.hatenablog.com
Technique / Ensemble Learning
#まとめ編		 yhayato1320.hatenablog.com
Technique / Data Augmentation
#まとめ編		 yhayato1320.hatenablog.com
Technique / パラメータ推定法
#まとめ編		 yhayato1320.hatenablog.com
Technique / モデル評価
#まとめ編		 yhayato1320.hatenablog.com
Technique / 類似度
#まとめ編		 yhayato1320.hatenablog.com

深層学習

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Skip Layer Connection #まとめ編 yhayato1320.hatenablog.com
Metric Learning / Distance Learning
#まとめ編		 yhayato1320.hatenablog.com
Auto Regression Model / 自己回帰モデル
#まとめ編		 yhayato1320.hatenablog.com
タスク一覧 #まとめ編 yhayato1320.hatenablog.com
生成モデル #まとめ編 yhayato1320.hatenablog.com

Convolutional Neural Network / CNN

Convolutional Neural Network / CNN #まとめ編 yhayato1320.hatenablog.com
PixelCNN #まとめ編 yhayato1320.hatenablog.com
Darknet #まとめ編 yhayato1320.hatenablog.com

Recurrent Neural Network / RNN

Attention

深層学習
Attention #まとめ編		 yhayato1320.hatenablog.com
画像処理
Attention #まとめ編		 yhayato1320.hatenablog.com

Transformer

深層学習
Transformer #まとめ編		 yhayato1320.hatenablog.com
深層学習
BERT #まとめ編		 yhayato1320.hatenablog.com
深層学習
GPT #まとめ編		 yhayato1320.hatenablog.com
深層学習
XLM #まとめ編		 yhayato1320.hatenablog.com

データ分野

データセット #まとめ編 yhayato1320.hatenablog.com
時系列データセット #まとめ編 yhayato1320.hatenablog.com

系列データ

  • 自然言語処理
  • 音響解析
  • 時系列解析

自然言語処理

自然言語処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 分散表現 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / 文章生成 #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / LLM #まとめ編 yhayato1320.hatenablog.com
自然言語処理 / Transformer #まとめ編 yhayato1320.hatenablog.com

音響解析

音響解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
音声解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

時系列解析

時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
金融時系列解析 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com

画像処理

画像処理 / 分野一覧 #まとめ編 yhayato1320.hatenablog.com
画像処理 / Attention #まとめ編 yhayato1320.hatenablog.com
画像処理 / タスク一覧 #まとめ編 yhayato1320.hatenablog.com

物体認識 / 画像分類

画像処理 / 物体認識
#まとめ編		 yhayato1320.hatenablog.com

物体検出 / Object Detection

画像処理 / 物体検出
#まとめ編 #00		 yhayato1320.hatenablog.com
画像処理 / 物体検出
#まとめ編 #01 (#実装編)		 yhayato1320.hatenablog.com
機械学習 / 物体検出 #まとめ編 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #00		 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #01 (CNN)		 yhayato1320.hatenablog.com
深層学習 / 物体検出 / YOLO
#まとめ編		 yhayato1320.hatenablog.com
深層学習 / 物体検出
#まとめ編 #02 (Attention)		 yhayato1320.hatenablog.com

グラフ / Graph

分野一覧 yhayato1320.hatenablog.com
Graph Embedding yhayato1320.hatenablog.com

テーブル / Tabular

点群処理 / 3D解析

分野一覧 #まとめ編 yhayato1320.hatenablog.com
NeRF #まとめ編 yhayato1320.hatenablog.com

複合データ

  • 動画像処理

動画像処理

時系列解析 x 画像処理



分野一覧 #まとめ編 yhayato1320.hatenablog.com
物体追跡 #まとめ編 yhayato1320.hatenablog.com

3D Video / 4D

時系列解析 x 点群処理

Physionical / 2021

単眼ビデオから物理的整合性を保ったまま高精度な3Dヒューマンモーションキャプチャを実現する、新しいニューラルネットワーク手法について. Physionical を提唱し、深層学習に剛体動力学モデルや比例微分 (PD) 制御を統合することで、従来の手法で頻発していた足の床突き抜けや不自然な震え、動きの遅延といった問題を劇的に改善. 本システムは完全微分可能な構造を持ち、3D注釈がない野外映像でも2Dデータのみで微調整が可能であり、リアルタイムかつ実用的な速度で動作する. 推定されたデータはバーチャルキャラクターの制御や関節トルクの可視化など、エンターテインメントからスポーツ分析まで幅広い分野に応用可能. ソース内では、カメラの内部パラメータに依存しない革新的な正準化手法や、物理的制約を最適化層として組み込む技術的詳細が詳述されている.

  • Neural Monocular 3D Human Motion Capture with Physical Awareness

Multi-tile Video / MTV / 2023

  • 3D Video Loops from Asynchronous Input

MAV3D / 2023

テキストから4D動的シーン (3次元空間＋時間) を生成する革新的なAI技術「MAV3D」について. この手法は、静止画生成や動画生成の技術を統合し、任意の視点から観察可能なアニメーション付き3次元資産を構築. 学習には4D専用のデータセットを必要とせず、既存のテキスト対動画拡散モデルを擬似的な多眼カメラとして活用し、動的な神経放射輝度場 (NeRF) を最適化. さらに、静止状態から動態へと段階的に最適化を行う手法や、高解像度化のためのファインチューニングを導入することで、視覚的整合性の高い高品質な出力を実現.

  • Text-To-4D Dynamic Scene Generation

マルチモーダル

分野一覧 #まとめ編 yhayato1320.hatenablog.com
Vision Language #まとめ編 yhayato1320.hatenablog.com
Natural Language Supervision
#まとめ編		 yhayato1320.hatenablog.com
CLIP
#まとめ編		 yhayato1320.hatenablog.com

タスク

【深層学習】ConvNeXt v2

Index

ConvNeXt v2

ConvNeXt に自己教師あり学習の MAE を統合した FCMAE を持つ改良モデル ConvNeXt V2を紹介. GRNという新しい層により、チャネル間の競合関係を強調する改善を施す. 一定のスケール性を持つ.



Fully Convolutional Masked Autoencoder / FCMAE

ConvNet 向けに設計された自己教師あり学習フレームワーク.

Masking

  • 高いマスク比率: 原画像からランダムに 60% の領域をマスク.
  • 階層的対応: ConvNetはステージごとに特徴量をダウンサンプリングする階層型設計であるため、マスクは最終ステージで生成され、最も細かい解像度まで再帰的にアップサンプリングする. 実用上は、元の画像から32×32ピクセルのパッチをランダムに60%除去する処理を行う.

  • 最小限の Data Augmentation: データの変更はランダムなリサイズ・クロッピングのみに留め、極めてシンプルな処理に抑える.

  • Data Augmentation

Encoder Design

Encoder には ConvNeXt を採用.

「スパースデータ」としての処理: マスクされた画像から、モデルがマスク領域の情報をコピー＆ペーストするようなショートカットを学習するのを防ぐ必要がある. Vision Transformer (ViT) では可視パッチのみを Encoder に入力すれば簡単に回避できますが、2D構造を維持する ConvNet では困難.

スパース畳み込みの導入: マスクされた画像を3D点群のような2次元の疎 (スパース) な配列として捉え、事前学習時に標準の畳み込み層を submanifold sparse convolution に変換する. これにより、エンコーダーは可視ピクセルのみを対象に演算を行い、情報の漏洩を完全に防ぐことができる.



下流タスクとの整合性: sparse convolution の重みは、ファインチューニング段階で追加の処理を必要とせず、通常の標準的な高密度畳み込み層へそのまま戻すことが可能.

Decoder Design

非対称構造: 階層的で重厚なエンコーダーに対して、デコーダーには非常に軽量な単一のプレーンなConvNeXtブロックを使用する非対称な設計を採用.

シンプルな設計の採用: 階層的なデコーダーやトランスフォーマーベースのデコーダーも検討されましたが、このシンプルな単一ブロック構成がファインチューニング精度と事前学習時間の短縮において最も優れたバランスを示した.

Reconstruction Target

損失関数: 再構成された画像とターゲット画像の間の平均二乗誤差 (MSE) を計算.

算出方法: MAEと同様に、ターゲットはオリジナルの入力画像をパッチごとに正規化したもの (patch-wise normalized image) を使用し、損失の算出はマスクされたパッチにのみ適用.

Global Response Normalization / GRN

Feature Collapse

FCMAE を用いたマスク画像自己教師あり学習をConvNeXt V1にそのまま適用した際、モデルの表現力が低下するという大きな課題に直面. その原因を突き止めるために特徴空間の視覚化および定量的な解析を行ったところ、特徴量の崩壊 (Feature Collapse) と呼ばれる現象が起きていたことが判明.

  • 可視化による発見: 事前学習した ConvNeXt V1 のアクティベーション (特徴マップ) を観察すると、多くのチャネルで活動が完全に消失 (デッドニューロン化) していたり、逆にチャネル間で全く同じようなパターンのアクティベーションが重複して存在していた
  • 定量的分析 (Cosin Distance の低下）: 異なるチャネル間の類似度を評価するために、チャネル間の平均 Cosin Distance を層ごとに算出したところ、学習が進むにつれて (特に深層のMLPレイヤーにおいて) Cosin Distanceが著しく低下し、チャネルの多様性が完全に失われていることが定量的に証明した.

Lateral Inhibition

GRNは、脳の視覚野などで見られる 側方抑制 (側頭抑制 / Lateral Inhibition) というメカニズムから着想を得ている. これは、ある神経細胞が活性化した際に、その周囲の細胞の活動を抑制することで、応答のコントラストや選択性を高め、集団全体としての応答の多様性を維持する仕組み. これを深層学習のチャネル間競争に置き換え、特定の強いシグナルを放つチャネルの応答を際立たせ、代わりに冗長な他のチャネルの活動を抑制する応答正規化として実装したものが GRN.

GRNの3つの処理ステップと定式化

GRNは、
入力特徴量テンソル X \in \mathbb{R}^{H \times W \times C}


  • H \times W : 空間解像度
  • C : チャネル数


    • に対し、以下の3つのステップを適用する.

Step 1: Global Feature Aggregation

各チャネル i の空間的な特徴マップ X_i \in \mathbb{R}^{H \times W} を、チャネルごとの重要度を表す1つのスカラー g_{i} に集約.



G(X)_i = g_i = \|X_i\|_2 = \sqrt{ \displaystyle \sum_{h=1}^H \sum_{w=1}^W (X_{i,h,w})^2}



一般的な Glabal Average Pooling (GAP) よりも、L2ノルムを用いて特徴の統計量を集約するアプローチが、最も高い効果を発揮することが実験的で確認されている.



Step 2: Feature Normalization

集約された値 g_{i} に対して、他の全チャネルと比較した相対的な重要度を計算する. ここでは相互抑制を伴う除算正規化 (Divisive Normalization) を採用.

N(g_i)_i = \displaystyle \frac{g_i}{\displaystyle \sum_{j=1}^C g_j}


この演算により、あるチャネル i の重要度は「周囲 (他チャネル) と比べた相対比率」として計算さる. これにより、チャネル間での競合と相互抑制 (競争) が生まれる.



Step 3: Feature Calibration

算出された相対的重要性 (スコア) を元の空間特徴マップに掛け合わせ、重要度のスケーリング (キャリブレーション) を実行する.

X_{i} = X_{i}\ \times\ N(G(X)_{i})



最終的な安定化 (残差接続とアフィン変換) 学習の初期段階で不安定になるのを防ぐため、 2つの学習可能なアフィンパラメータ \gamma と \beta (ともに0で初期化) を導入し、残差接続を加えたものが最終的な GRN ブロックとなる.

X_{i} = \gamma\ \times\ (X_{i}\ \times\ N(G(X)_i))\ +\ \beta\ +\ X_{i}


これによって学習の最初は単なる恒等写像 (Identity Function) として振る舞い、学習が進むにつれて最適な正規化強度をモデルが自律的に調整できるようになる.



ConvNeXt V2 ブロックへの統合

GRN層は、下図 (右側) のようにConvNeXt V1ブロックの「チャネル次元を拡大するMLP (1x1畳み込み) 層の後 (GELU活性化関数の直後)」に挿入.



レイヤースケールの削除: GRNを導入したことにより、以前モデルの安定化のために用いられていた LayerScale (レイヤースケール) が完全に不要になり、ブロックから削除.

参考

  • ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
    • [2023]
      1. Fully Convolutional Masked Autoencoder
    • arxiv.org

Web サイト

  • 【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders

  • [論文解説]ConvNeXt v1/v2

【機械学習】Plug and Play Active Learning / PPAL

Index

Plug and Play Active Learning / PPAL

物体検出のための効率的な能動学習手法である Plug and Play Active Learning (PPAL) を提案. 物体検出のデータ作成には多大なコストがかかるため、PPALはモデルに最も有益な画像のみを選択して学習効率を最大化. この手法は、物体の分類と位置特定の両方の難易度を考慮した不確実性サンプリングと、画像内の複数物体を比較して多様性を確保するCCMSという2段階のプロセスで構成されている. 既存のモデル構造や学習パイプラインを変更せずに導入できる「プラグアンドプレイ」な特性が大きな強み. 実験の結果、PPALは主要なデータセットにおいて従来の手法を大幅に上回る性能を示し、優れた汎用性を証明.

Plug and Play Active Learning for Object Detection

問題設定

1. 諸定義

全学習データセットを定義.

X_{T}\ =\ \{x_{i}\}_{i\ \in\ [N_{t}]}



検証データセットを定義.

X_{V}\ =\ \{x_{i}\}_{i\ \in\ [N_{v}]}



ラウンド r\ \ge\ 0 において、全学習データセットを 「すべてにラベルが付いているデータの集合 (ラベル付き集合 X_{L}^{r}) と 「まだラベルが付いていないデータの集合 (ラベルなし集合 X_{U}^{r})」にわける.

これら2つの集合に重複はなく、

X_{L}^{r}\ \cap\ X_{U}^{r}\ =\ \emptyset


合わせると、全学習データセットと等しくなる.

X_{L}^{r}\ \cup\ X_{U}^{r}\ =\ X_{T}


2. モデルの学習と性能評価

ラウンド r において、ラベル付き集合 X_{L}^{r} を用いて、物体検出モデル

f_{\theta}^{r} ( \theta はパラメータ)


を学習. 学習モデルの検証データセット X_{V} での評価を

Z(X_{V}\ |\ f_{\theta}^{r})


と表し、mAP で評価する.



3. クエリの選択とデータセットの更新

アノテーションの予算 b が与えられたとき、アクティブラーニングアルゴリズムはラベルなし集合 X_{U}^{r} の中から、 サイズ b の画像集合 (クエリセット X_{Q}^{r}\ \subseteq\ X_{U}^{r}) を選択し、アノテーションを要求する. アノテーションが完了すると、 次のラウンド r+1 に向けて、データセットを以下のように更新する.

ラベル付き集合に追加 : X_{L}^{r+1}\ =\ X_{L}^{r}\ \cup\ X_{Q}^{r}

ラベルなし集合から削除 : X_{U}^{r+1}\ =\ X_{U}^{r}\ -\ X_{Q}^{r}


そして、更新されたラベル付き集合を用いて、モデルを再学習し、新たなモデル f_{\theta}^{r+1} を得たのち、 Z(X_{V}\ |\ f_{\theta}^{r+1}) を計算する.

4. アクティブラーニングアルゴリズムの最終的な評価基準

このサイクルを k 回繰り返した後、アクティブラーニングアルゴリズムの優秀さは、 初期ラウンドからのパフォーマンス向上度

\Delta\ Z_{k, 0}\ =\ Z(X_{V}\ |\ f_{\theta}^{k})\ -\ Z(X_{V}\ |\ f_{\theta}^{0})


によって評価する. つまり、限られた予算の中で、最終的により大きなモデル性能の向上をもたらしたアルゴリズムが「優れている」と判断される.

Difficulty Calibrated Uncertainty Sampling / DCUS

PPAL における第1ステージ. このステージの目的は、ラベルのない大量のデータセットから、モデルの学習に最も貢献しそうな画像の集合を選ぶこと. 物体検出における不確実性サンプリングには、

  1. 分類と位置推定の両方をどう評価するか
  2. 検出が難しいカテゴリをどう優先するか



のような課題があるが、DCUS では、カテゴリごとの難易度係数 (Difficulty Coefficient) を導入することで対応する.

1. トレーニング中の難易度の測定と更新

まず、あるラウンドごとに各クラスの難易度を初期化する. そしてモデルの学習中に予測された BBox ごとに、以下のように学習難易度 (Training Difficulty) を計算する.

学習難易度 (Training Difficulty)

q(b\ |\ \hat{b})\ =\ 1\ -\ P(b\ |\ \hat{b})^{\xi}\ \cdot\ IoU(b,\ \hat{b})^{1\ -\ \xi}



ここでは、正確クラスに対する分類確率 ( P) と IoU の両方が組み込まれている.

これにより、分類と位置推定のどちらが難しくても、適切に難易度として評価されるようになる.



この各物体の難易度の平均を用いて、クラスごとの難易度を指数移動平均 (EMA) によって学習ステップごとに随時更新していく.

2. 難易度係数 (Difficulty Coefficient) の算出

学習が完了した後、記録されたクラスごとの難易度を元に、次回のサンプリングで使用するカテゴリごとの難易度係数 (Difficulty Coefficient)

W^{r}\ =\ \{w_{i}\}_{i\ \in\ [C]}


を計算する. この係数は、モデルが苦手とするクラスほど値が大きくなり、得意なクラスほど値が小さくなるように設計される.

3. 画像の不確実性 (Uncertainty) のスコアリング

ラベルのない未学習画像に対して、モデルで推論を行い、画像全体の不確実性を計算する. 具体的には、画像内から検出されたすべての物体に対して、「分類エントロピー (予測のばらつき、自信のなさ)」を計算し、 そこに先ほど求めた各物体のカテゴリに対応する「難易度係数」を掛け合わせて (再重み付けして) 合計する.

不確実性の計算式

U(I)\ =\ \displaystyle \sum_{i=1}^{M_{I}}\ w_{c(i)}\ \cdot\ \displaystyle \sum_{j=1}^{C'}\ - p_{i, j}\ \cdot\ \log(p_{i,\ j})





これにより、単に予測が曖昧なだけでなく、「そもそもモデルにとって検出が難しいクラスの物体」を多く含む画像の不確実性スコアがより高くなる仕組みになっている.

4. 候補プールの選択

最後に、計算された不確実性スコアが高い順にラベルなし画像を並べ替える. そして、最終的にアノテーションを行う予算 b に対して、 \delta 倍 ( \delta\ >\ 1) (予算拡張比率) の数の上位画像を抽出し、これを第2ステージに渡す「候補プール (Candidate Pool）」とする

Diversity Sampling for Multi-instance Images

PPALの第2ステージに該当する. 第1ステージで絞り込まれた候補プールの中から「多様性があり、かつ全体を代表する画像セット」をどのように選択するかを考える.

Plug and Play Active Learning for Object Detection

1. 従来手法の課題 (グローバル類似度の限界)

従来の多様性に基づくアクティブラーニングでは、選択するサンプル同士の類似度を最小化することで多様性を確保しており、その類似度計算には画像全体の特徴マップを平均化した「グローバル類似度（Global Similarity）」がよく用いられていた.

この手法は画像内に物体が1つだけ存在するようなデータセットには有効ですが、物体検出が対象とするような「1枚の画像に複数の異なる物体が含まれる (マルチインスタンス）」画像に適用すると、特徴を平均化する過程で細かい空間情報が失われてしまうという致命的な弱点があった.

2. 提案手法：CCMS (カテゴリ条件付きマッチング類似度)

上記の課題を解決するため、「2つの画像の類似度は、それぞれの画像に含まれるオブジェクト同士がどれだけ似ているかで測るべきである」というアイデアに基づき、CCMSが設計された.

  • オブジェクトの表現:
      • モデルによって検出された各オブジェクトは、「視覚的特徴（f）」「検出スコア（t）」「予測クラスラベル（c）」の3つの要素で表される.
  • オブジェクト間のマッチング:
      • 画像Aに含まれるあるオブジェクトに対し、画像Bの中から「同じカテゴリ（クラスラベル）に属する、最も類似したオブジェクト」を見つけ出し、特徴量同士の類似度を計算. 画像Bに同じカテゴリのオブジェクトが存在しない場合、類似度は0として扱われる.
  • 画像全体の類似度へ統合:
      • 上記で求めた各オブジェクトの類似度を、それぞれの検出スコアで重み付けして平均化する. 最後に、画像Aから画像Bへの類似度と、画像Bから画像Aへの類似度の平均をとることで、指標としての対称性を保証.

3. ALクエリの最終サンプリング (改良型 k-means++)

計算されたCCMSを用いて、最終的にアノテーション予算分の画像をサンプリングする. 目的は選択された画像間の類似度を最小化 (多様性を最大化) することですが、これは計算量が膨大になるNP困難な問題である.

  • k-Center-Greedyによる初期選択:
      • 近似解を得るためにk-Center-Greedyアルゴリズムを使用. しかし、これだけだと多様性を重視しすぎるあまり、全体からかけ離れた「外れ値（特異な画像）」を選びやすくなってしまう.

  • 改良型 k-means++ による調整:
      • 外れ値を避けて全体を「代表する」画像を適切に選ぶため、k-Center-Greedyの結果を初期の重心（クラスタの中心）として、k-means++アルゴリズムを実行する.


通常のk-meansアルゴリズムではデータの座標の平均を計算して重心を更新するが、ここでは画像同士の「類似度」しか手元にない. そこで、「同じクラスタ内の他のすべての画像との類似度の合計が最大となる画像」を新たな重心として割り当てるという工夫でこの問題を解決. このようにして最終的に選び抜かれた画像セットが、次のラウンドでアノテーションを依頼するためのクエリとなる.

参考

  • Plug and Play Active Learning for Object Detection
    • [2022]
    • 3 Method
      • 3.1 Problem Statement
      • 3.2 Difficulty Calibrated Uncertainty Sampling
      • 3.3 Diversity Sampling for Multi-instance Images
    • arxiv.org

【機械学習】Active Learning

Index

Active Learning

手法

ALLWAS / 2021

画像処理における手法

Object Detection における手法

Plug and Play Active Learning / PPAL / 2022

物体検出のための効率的な能動学習手法である Plug and Play Active Learning (PPAL) を提案. 物体検出のデータ作成には多大なコストがかかるため、PPALはモデルに最も有益な画像のみを選択して学習効率を最大化. この手法は、物体の分類と位置特定の両方の難易度を考慮した不確実性サンプリングと、画像内の複数物体を比較して多様性を確保するCCMSという2段階のプロセスで構成されている. 既存のモデル構造や学習パイプラインを変更せずに導入できる「プラグアンドプレイ」な特性が大きな強み. 実験の結果、PPALは主要なデータセットにおいて従来の手法を大幅に上回る性能を示し、優れた汎用性を証明.

Plug and Play Active Learning for Object Detection


【深層学習】Mamba

Index

Mamba

従来のTransformerが抱える長いシーケンスへの計算効率の課題を解決する新しいモデル. Mambaは、入力内容に応じて情報を選択的に保持・破棄できる選択的状態空間モデル (Selective SSM) を採用し、処理時間を劇的に短縮した. この設計により、メモリ使用量はシーケンス長に対して線形にスケールし、推論速度は Transformer の約5倍に達っする. 言語、音声、ゲノミクスなどの多様な領域で、Mambaは数百万規模の長文コンテキストを効率的に処理し、同等サイズの既存モデルを凌駕する高い精度を実証. ハードウェアの特性を考慮した並列アルゴリズムの実装により、次世代の基盤モデルとしての可能性を提示した革新的な研究.

応用

Mamba-2 / 2024

  • Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

MambaVision / 2024

Vision へ.

  • MambaVision: A Hybrid Mamba-Transformer Vision Backbone

Samba / 2024

  • Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling

Nemotron-H / 2025

  • Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models

Nemotron Nano 2 / 2025

NVIDIA-Nemotron-Nano-9B-v2-Japanese

  • [失敗談] NVIDIA-Nemotron-Nano-9B-v2-JapaneseをColabで使おうとしたが躓いた話

Nemotron 3 Nano / 2026

参考

  • Mamba: Linear-Time Sequence Modeling with Selective State Spaces

Web サイト

  • github.com

    • 手法まとまっている

  • 【Mamba入門】Transformerを凌駕しうるアーキテクチャを解説（独自の学習・推論コード含む）

【深層学習】ControlNets

Index

ControlNets

拡散モデルを humanpose など様々な条件で制御できるようにした. 学習する条件部NNはゼロ重みで初期化した層で入力と出力を挟み、固定の学習済み拡散モデルUNetの復号部に加える. 学習時プロンプトは半分の確率でドロップアウトし、条件部利用を促進させる.

参考

【深層学習】Qwen

Index

Qwen

改善アルゴリズム

Qwen2 / 2024

Qwen3 / 2025

VLM

Qwen-VL / 2023

Qwen2-VL / 2024

  • Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution

Qwen2.5-VL / 2025

  • Qwen2.5-VL Technical Report

Qwen3-VL / 2025

モデル

Qwen 3.5

  • Qwen3.5: Towards Native Multimodal Agents

参考

【画像処理】Amodal Completion

Index

Amodal Completion

Amodal Completion とは、対象物が部分的に隠れて / オクルージョンされていても、人間がその対象物全体を知覚できる「視覚的な能力」のことを指す. コンピュータビジョンのタスクとしての Image Amodal Completion は、この人間のような知覚能力をコンピュータに持たせ、隠蔽されたオブジェクトの全体像を理解できるようにすることを目的としている.

アルゴリズム

pix2gestalt / 2024

  • pix2gestalt: Amodal Segmentation by Synthesizing Wholes
    • [2024]

SAMEO / 2025

  • Segment Anything, Even Occluded

参考

  • Image Amodal Completion: A Survey