オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【画像処理】自己教師あり学習 / Self Supervised Learning

Index

自己教師あり学習 / Self Supervised Learning

機械学習における手法の一つ.

画像への応用をまとめる.

DeepLearning における工夫・テクニック

Visual Prompting / 2022

テキストではなく、画像に用いる Prompting (タスクへの指示).

入出力形式が画像であるモデルに対して、入出力例で「セグメンテーション」、「エッジ検出」などのタスクを指示する.



  • Visual Prompting via Image Inpainting

Energy-Based Contrastive Learning / EBCLR / 2022

  • Energy-Based Contrastive Learning of Visual Representations

MAGE / 2022

  • MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis

Cut-and-LEaRn / CutLER / 2023

  • Cut and Learn for Unsupervised Object Detection and Instance Segmentation

Joint Embedding Self-Supervised Learning / JE-SSL

FFCV-SSL

MIM / Masked Image Modeling

PixMIM / 2023

  • PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling

DeepMIM / 2023

  • DeepMIM: Deep Supervision for Masked Image Modeling

Contrastive Masked Autoencoders / 2023

  • Visual Representation Learning from Unlabeled Video using Contrastive Masked Autoencoders

MAE

Fine Turning のテクニック.

  • The effectiveness of MAE pre-pretraining for billion-scale pretraining

ASIC / 2023

Objectives Matter / 2023

  • Objectives Matter: Understanding the Impact of Self-Supervised Objectives on Vision Transformer Representations

参考

  • 画像に対する自己教師あり表現学習手法について①

  • NeurIPS 2022 参加報告 後編

  • 2021年の深層学習ハイライト(研究論文編)

    • Exploring Simple Siamese Representation Learning
    • qiita.com