Index
- Index
- セグメンテーション / Segmentation
- 深層学習を利用したアルゴリズム
- Segmentation における工夫
- Multimodal
- 応用
- 参考
セグメンテーション / Segmentation
画像処理におけるタスクのひとつ.
- Segmentation #まとめ編
Segmentation の分類
以下のように3つに分類することができる.
- Semantic Segmentation : 画像上の全ピクセルをクラスに分類する
- Instance Segmentation : 物体ごとの領域を分割しかつ物体の種類を認識する
- Panoptic Segmentation : それらを組み合わせる
深層学習を利用したアルゴリズム
Fully Convolutional Network / FCN / 2014
- Fully Convolutional Network / FCN
DeepLab / 2014 -
- DeepLab
Deconvolution / 2015
- Deconvolution
U-Net / 2015 -
SegNet / 2015
- SegNet
ReSeg / 2015
- ReSeg: A Recurrent Neural Network-based Modelfor Semantic Segmentation
- [2015]
- RNN ベースの手法
- arxiv.org
PSPNet / 2016
- Pyramid Scene Parsing Network
HRNet / 2019
- Deep High-Resolution Representation Learning for Visual Recognition
- [2019]
- arxiv.org
STEAL / 2019
- Devil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
- [2019]
- Segmentation の境界の情報を学習することで、精度を向上させる
- arxiv.org
HTC++ / 2019
Hybrid Task Cascade for Instance Segmentation
- [2019]
- arxiv.org
ザックリまとめ Hybrid Task Cascade for Instance Segmentation論文
CondInst / 2020
- CondInst
DeepPrivacy2 / 2022
DeepPrivacy2: Towards Realistic Full-Body Anonymization
- [2022]
- arxiv.org
プライバシーに配慮、画像に写る人物を匿名化する「DeepPrivacy2」
UDOS / 2023
- Open-world Instance Segmentation: Top-down Learning with Bottom-up Supervision
- [2023]
- arxiv.org
- tarun005.github.io
Visual Token Matching / VTM / 2023
セマンティックセグメンテーションや深度推定など画素毎に予測するDense Predictionタスクにおいて、
Few-Shot学習（10例など）で大量の教師ありデータを使って学習する場合に匹敵または凌駕する性能を達成.
LLMがプロンプトによるメタ学習で、様々なタスクに即時に適応できるのと同様に、 画像認識でも少数の教師例で様々なタスクにすぐ適応できることが示された.
画像とラベルの両方をViTを使った符号化器階層的にトークンに変換.
対象画像の埋め込みトークンをクエリ、サポート（Few-shot時の学習データ）の画像の埋め込みトークンをキー、 ラベル埋め込みトークンを値とした交差注意機構で、ラベル埋め込みトークンを作る.
得られたラベル埋め込みトークンを復号機でUpsampleしラベルを決定する.
この交差注意機構が、現在処理対象の画像のトークンと、サポートのトークンをマッチングしていることからこの名前がついている.
利用時はサポートを使ってメタ学習し、符号化器のバイアスのみ更新する.
ラベル埋め込みで扱うことでラベルが離散値であろうが連続値であろうが対応できる.
LLMがプロンプトによるメタ学習で、様々なタスクに即時に適応できるのと同様に、 画像認識でも少数の教師例で様々なタスクにすぐ適応できることが示された.
画像とラベルの両方をViTを使った符号化器階層的にトークンに変換.
対象画像の埋め込みトークンをクエリ、サポート（Few-shot時の学習データ）の画像の埋め込みトークンをキー、 ラベル埋め込みトークンを値とした交差注意機構で、ラベル埋め込みトークンを作る.
得られたラベル埋め込みトークンを復号機でUpsampleしラベルを決定する.
この交差注意機構が、現在処理対象の画像のトークンと、サポートのトークンをマッチングしていることからこの名前がついている.
利用時はサポートを使ってメタ学習し、符号化器のバイアスのみ更新する.
ラベル埋め込みで扱うことでラベルが離散値であろうが連続値であろうが対応できる.
- Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching
- [2023]
- openreview.net
Segment Anything Model / SAM / 2023
Segment Anything
- [2023]
- arxiv.org
- segment-anything.com
Grounded-Segment-Anything
【DL輪読会】Segment Anything
Caption Anything
- Caption Anything
Track Anything / 2023
- Track Anything: Segment Anything Meets Videos
- [2023]
- arxiv.org
- github.com
Segment Anything in 3D with NeRFs / 2023
- Segment Anything in 3D with NeRFs
- [2023]
- arxiv.org
Segmentation における工夫
条件付き確率場 / Conditional Random Field / CRF
- 条件付き確率場 / Conditional Random Field / CRF
Multimodal
Semantically Multi-modal Image Synthesis / SMIS
- Semantically Multi-modal Image Synthesis / SMIS
応用
Inpaint Anything / 2023
- Inpaint Anything: Segment Anything Meets Image Inpainting
- [2023]
- arxiv.org
- github.com
参考
- Image Segmentation Using Deep Learning: A Survey
- [2020]
- Semantic Segmentation と GAN を組み合わせたモデル体系.
- arxiv.org
書籍
- 画像認識
- 9 さらなる話題
- 9.1 セマンティックセグメンテーション
- 9.2 SegNet
- 9.3 畳み込みと転置畳み込み
- 9 さらなる話題
Web サイト
Semantic segmentation
- 2017
- Segmentation の大まかな流れ / データセット / 従来手法から深層学習の手法へ / 精度指標
- 「A Survey of Semantic Segmentation」 を参考
- www.slideshare.net
コンピュータビジョンの最新論文調査 Segmentation 編
- 2019
- Semantic / Instance / Panoptic のわけて、論文紹介
- engineer.dena.com
深層学習を用いたセグメンテーションの紹介
- 2021
- FCN / SegNet / PSPNET (=FPN) / ReSeg の手法紹介
- Segmentation における工夫
- www.skillupai.com
pytorch-semseg
- PyTorch で実装された Segmentation
- github.com
【深層学習】セマンティックセグメンテーションとは？〜FCN, U-Net, Segnet, PSPNet, Deeplabv3+手法まとめ〜
