【機械学習】対照学習 / Contrastive Learning

Index

対照学習 / Contrastive Learning

自己教師あり学習の手法の一つ.

• Self Supervised Learning
  • yhayato1320.hatenablog.com

目的関数

Noise Contrastive Estimation / NCE / 2010

• A new estimation principle for unnormalized statistical models
  • [2010]
  • https://www.researchgate.net/publication/220320709_Noise-contrastive_estimation_A_new_estimation_principle_for_unnormalized_statistical_modelswww.researchgate.net

Info NCE / 2018

• Info NCE
  • [2018]
  • yhayato1320.hatenablog.com

Info LOOB / 2019

• Info LOOB
• [2019]


• Leave One Out Bound


• yhayato1320.hatenablog.com

Monte-Carlo InfoNCE / MC Info NCE / 2023

• Probabilistic Contrastive Learning Recovers the Correct Aleatoric Uncertainty of Ambiguous Inputs
  • [2023]
  • arxiv.org

参考

• Contrastive Multiview Coding

  • [2019]
  • arxiv.org
    
    

• Self-supervised Learning: Generative or Contrastive

  • [2020]
  • 4 CONTRASTIVE SELF-SUPERVISED LEARNING
  • arxiv.org
    
    

• A Survey on Contrastive Self-supervised Learning

  • [2020]
  • arxiv.org

書籍

• コンピュータービジョン最前線 Winter 2021
  • 1 イマドキノCV / 三つ巴の学習戦略
    • 1.2 データラベルの利用活用
      • 1.2.1 イマドキの事前学習
        • 自己教師あり
          • 対照学習

  • コンピュータビジョン最前線 Winter 2021

Web サイト

• 2020年超盛り上がり！自己教師あり学習の最前線まとめ！
  • qiita.com
  • A Survey on Contrastive Self-supervised Learning についてとか