オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【機械学習】自己教師あり学習 / Self Supervised Learning

【機械学習】自己教師あり学習 / Self Supervised Learning

データサイエンス データサイエンス-機械学習

Index

自己教師あり学習 / Self Supervised Learning

機械学習・深層学習における、学習の枠組みの一つ.

対照学習 / Contrastive Learning

自己教師あり学習 / Self Supervised Learning の手法の一つ.

各データ分野への応用

画像処理

Generative Model / 生成モデル

Auto Regression / AR Model

\max_{\theta}\ p_{\theta}\ (x)\ =\ \displaystyle \sum_{t=1}^{T}\ \log\ p_{\theta}\ (x_{t}\ |\ x_{1:t-1})



Pixel CNN / 2016 -

GPT / 2018 -

参考

  • Self-supervised Learning: Generative or Contrastive

    • [2020]
    • 1 INTRODUCTION
    • 2 MOTIVATION OF SELF-SUPERVISED LEARNING
    • 3 GENERATIVE SELF-SUPERVISED LEARNING
      • 3.1 Auto-regressive (AR) Model
    • arxiv.org

  • VirTex: Learning Visual Representations from Textual Annotations

    • [2020]
    • 2 Related Wrok
      • Self-Supervised Learning
    • arxiv.org

  • The SSL Interplay: Augmentations, Inductive Bias, and Generalization

  • A Cookbook of Self-Supervised Learning

書籍

Web サイト