オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【画像処理】自己教師あり学習 / Self Supervised Learning

【画像処理】自己教師あり学習 / Self Supervised Learning

データサイエンス データサイエンス-機械学習 データサイエンス-画像処理

Index

自己教師あり学習 / Self Supervised Learning

機械学習における手法の一つ.

画像への応用をまとめる.

DeepLearning における工夫・テクニック

Visual Prompting / 2022

テキストではなく、画像に用いる Prompting (タスクへの指示).

入出力形式が画像であるモデルに対して、入出力例で「セグメンテーション」、「エッジ検出」などのタスクを指示する.



  • Visual Prompting via Image Inpainting

Energy-Based Contrastive Learning / EBCLR / 2022

  • Energy-Based Contrastive Learning of Visual Representations

MAGE / 2022

  • MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis

Cut-and-LEaRn / CutLER / 2023

  • Cut and Learn for Unsupervised Object Detection and Instance Segmentation

Joint Embedding Self-Supervised Learning / JE-SSL

FFCV-SSL

MIM / Masked Image Modeling

PixMIM / 2023

  • PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling

DeepMIM / 2023

  • DeepMIM: Deep Supervision for Masked Image Modeling

Contrastive Masked Autoencoders / 2023

  • Visual Representation Learning from Unlabeled Video using Contrastive Masked Autoencoders

MAE

Fine Turning のテクニック.

  • The effectiveness of MAE pre-pretraining for billion-scale pretraining

ASIC / 2023

Objectives Matter / 2023

  • Objectives Matter: Understanding the Impact of Self-Supervised Objectives on Vision Transformer Representations

参考

  • Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning
    • [2021]
    • arxiv.org
    • github.com
    • 自己教師あり学習 / Self Supervised Learning / SSL を用いた画像における表現学習のためのPythonライブラリ solo-learn. PyTorch と PyTorch Lightning で実装されており、分散学習、高速データ読み込み、オンライン線形評価などの機能を提供し、研究者や実務家が少ない計算リソースでも効率的に SSL 手法を開発・応用できるようにすることを目的としている. このライブラリは、複数の最新SSL手法を標準化された形式で提供することで、SSL手法の再現性と比較を容易にしている. また、既存のライブラリと比較してより多くの最新手法をサポートし、低リソース環境での効率的な学習を実現.

Web サイト