Index
深層学習を用いた画像処理
深層学習を用いた画像処理のアルゴリズムをまとめる.
深層学習 #まとめ編
画像処理 #まとめ編
Network Architecture
CNN
- CNN #まとめ編
Attention
- Attention #まとめ編
Transformer
- Transformer #まとめ編
CXV / Convolutional Xformers for Vision / 2022
画像処理に特化した新しいハイブリッドニューラルネットワークアーキテクチャ. このモデルは、従来の Transformer の計算コストとデータ要件を軽減するために、畳み込み層と線形 Attention 機構を組み合わせることで、少ないデータとGPUリソースで高い画像分類精度を実現. さらに、訓練プロセスの後半でオプティマイザーを切り替えることで精度を向上させる、新しい訓練戦略「DualOpT」も提案されている.
https://t.co/MGjAaL97Ol
— akira (@AkiraTOSEI) March 2, 2022
Tranformerにおいて、Attentionを線形注意に変換し、Convを組み合わせたXCVを提案。低データ量、低GPU資源でも高い性能を発揮することができる。 pic.twitter.com/txAegUy8eL
工夫・テクニック
Data Augmentation
- Data Augmentation #まとめ編
- 画像における Data Augmentation
- yhayato1320.hatenablog.com
Diffusion Model
- Diffusion Model
LZU / 2023
- Learning to Zoom and Unzoom
- [2023]
- arxiv.org
- tchittesh.github.io
Visual Atoms / 2023
輪郭が重要という仮説に基づき正弦波により多様な輪郭を描画してFDSL事前学習を強化.
一般画像認識タスク(ImageNet-1k)にてJFT-300M事前学習の精度84.2%に迫る83.7%を約14分の1のデータセットサイズで達成.
一般画像認識タスク(ImageNet-1k)にてJFT-300M事前学習の精度84.2%に迫る83.7%を約14分の1のデータセットサイズで達成.
#CVPR2023 採択の"VisualAtom"が公開されました！輪郭が重要という仮説に基づき正弦波により多様な輪郭を描画してFDSL事前学習を強化しました。一般画像認識タスク(ImageNet-1k)にてJFT-300M事前学習の精度84.2%に迫る83.7%を約14分の1のデータセットサイズで達成しています。https://t.co/6hyImqJAyQ pic.twitter.com/VQ9UyBEEuD
— cvpaper.challenge | AI/CV研究コミュニティ (@CVpaperChalleng) March 3, 2023
