オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【画像処理】アルゴリズム #まとめ編

【画像処理】アルゴリズム #まとめ編

Index

深層学習を用いた画像処理

深層学習を用いた画像処理のアルゴリズムをまとめる.

Network Architecture

MLP

RepMLP / 2021

画像認識において従来の畳み込み層の代わりに全結合 (FC) 層を活用する新技術、RepMLP. 一般的にFC層は画像認識に必要な局所的な情報の抽出が苦手ですが、本手法は学習時に並列させた畳み込み層を推論時に FC 層へ統合する構造的再パラメータ化により、この欠点を克服. これにより、FC層が持つ広域的な依存関係の把握や位置情報の認識能力を活かしつつ、高速かつ効率的な処理が可能. 実験では、RepMLP を既存の ResNet に組み込むことで、顔認識やセマンティックセグメンテーションといった多様なタスクで精度と推論速度の両面を向上させている. スループットと精度の向上を重視する実用的なシーンにおいて、MLP型ネットワークが有力な選択肢となることを示した.

  • RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition

CNN

Attention

Transformer

CXV / Convolutional Xformers for Vision / 2022

画像処理に特化した新しいハイブリッドニューラルネットワークアーキテクチャ. このモデルは、従来の Transformer の計算コストとデータ要件を軽減するために、畳み込み層と線形 Attention 機構を組み合わせることで、少ないデータとGPUリソースで高い画像分類精度を実現. さらに、訓練プロセスの後半でオプティマイザーを切り替えることで精度を向上させる、新しい訓練戦略「DualOpT」も提案されている.



  • Convolutional Xformers for Vision

工夫・テクニック

Data Augmentation

Mixture of Experts / MoE

Diffusion Model

Formula-driven Supervised Learning / FDSL / 2022-

LZU / 2023

参考

  • CNN+ViTモデルの傾向【サーベイ】