オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】セグメンテーション / Segmentation #まとめ編

【深層学習】セグメンテーション / Segmentation #まとめ編

データサイエンス データサイエンス-深層学習

Index

セグメンテーション / Segmentation

画像処理におけるタスクのひとつ.

Segmentation の分類

以下のように3つに分類することができる.

  • Semantic Segmentation : 画像上の全ピクセルをクラスに分類する
  • Instance Segmentation : 物体ごとの領域を分割しかつ物体の種類を認識する
  • Panoptic Segmentation : それらを組み合わせる

深層学習を利用したアルゴリズム

Fully Convolutional Network / FCN / 2014

DeepLab / 2014 -

Deconvolution / 2015

U-Net / 2015 -

SegNet / 2015

ReSeg / 2015

  • ReSeg: A Recurrent Neural Network-based Modelfor Semantic Segmentation

PSPNet / 2016

HRNet / 2019

  • Deep High-Resolution Representation Learning for Visual Recognition

STEAL / 2019

  • Devil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
    • [2019]
    • Segmentation の境界の情報を学習することで、精度を向上させる
    • arxiv.org

DeepPrivacy2 / 2022

  • DeepPrivacy2: Towards Realistic Full-Body Anonymization

  • プライバシーに配慮、画像に写る人物を匿名化する「DeepPrivacy2」

UDOS / 2023

Visual Token Matching / VTM / 2023

セマンティックセグメンテーションや深度推定など画素毎に予測するDense Predictionタスクにおいて、 Few-Shot学習（10例など）で大量の教師ありデータを使って学習する場合に匹敵または凌駕する性能を達成.

LLMがプロンプトによるメタ学習で、様々なタスクに即時に適応できるのと同様に、 画像認識でも少数の教師例で様々なタスクにすぐ適応できることが示された.

画像とラベルの両方をViTを使った符号化器階層的にトークンに変換.

対象画像の埋め込みトークンをクエリ、サポート（Few-shot時の学習データ）の画像の埋め込みトークンをキー、 ラベル埋め込みトークンを値とした交差注意機構で、ラベル埋め込みトークンを作る.

得られたラベル埋め込みトークンを復号機でUpsampleしラベルを決定する.

この交差注意機構が、現在処理対象の画像のトークンと、サポートのトークンをマッチングしていることからこの名前がついている.

利用時はサポートを使ってメタ学習し、符号化器のバイアスのみ更新する.

ラベル埋め込みで扱うことでラベルが離散値であろうが連続値であろうが対応できる.



  • Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching

Segment Anything Model / SAM / 2023

Caption Anything

Track Anything / 2023

Segment Anything in 3D with NeRFs / 2023

  • Segment Anything in 3D with NeRFs

Segmentation における工夫

条件付き確率場 / Conditional Random Field / CRF

Multimodal

Semantically Multi-modal Image Synthesis / SMIS

応用

Inpaint Anything / 2023

参考

  • Image Segmentation Using Deep Learning: A Survey
    • [2020]
    • Semantic Segmentation と GAN を組み合わせたモデル体系.
    • arxiv.org

書籍

Web サイト

  • Semantic segmentation

  • コンピュータビジョンの最新論文調査 Segmentation 編

  • 深層学習を用いたセグメンテーションの紹介

    • 2021
    • FCN / SegNet / PSPNET (=FPN) / ReSeg の手法紹介
    • Segmentation における工夫
    • www.skillupai.com

  • pytorch-semseg

    • PyTorch で実装された Segmentation
    • github.com

  • 【深層学習】セマンティックセグメンテーションとは？〜FCN, U-Net, Segnet, PSPNet, Deeplabv3+手法まとめ〜