オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】CLIP #まとめ編

Index

CLIP / 2021

テキストと画像のモーダル間の表現空間を調整することで、 異なるモーダル間の表現を、相互に利用できるようにした手法.

Contrastive Language-Image Pre-training

アルゴリズムについて

テキスト情報から画像分類 / 物体認識を学習するフレームワーク.

ラベルのついた教師データではなく、生の自然言語を画像予測のタスクの教師に利用する手法を導入する.

Contrastive Language-Image Pre-training

実装について

応用

Style CLIP / 2021

DALL-E / 2021 -

GLIP / 2021

CLOOB / 2021

SLIP / 2021

  • SLIP: Self-supervision meets Language-Image Pre-training

CLIP-Lite / 2021

  • CLIP-Lite: Information Efficient Visual Representation Learning from Textual Annotations

BLIP / 2022