【深層学習】Metric Learning / Distance Learning #実装編 #03

Index

Metric Learning / Distance Learning

• Metric Learning / Distance Learning #まとめ編
  • yhayato1320.hatenablog.com

Library

Pytorch Metric Learning / PLM を利用.

• github.com

Dataset

• Conceptual Captions
  • Google が制作している「画像」と「テキスト」(画像についての説明) のペアのデータセット
  • yhayato1320.hatenablog.com

タスク

• Image Text Similarity
  • 画像とテキストの類似度
  • yhayato1320.hatenablog.com
    
    

アルゴリズム

Image と Text からの特徴量には、CLOOB を使用.

• CLOOB
  • yhayato1320.hatenablog.com
    
    

深層学習を利用した距離学習を考える.

• 全体のアーキテクチャ

  • Triplet Architecture
    
    

• ネットワークのアルゴリズム

  • ResNet
  • yhayato1320.hatenablog.com
    
    

• Loss

  • Triplet Loss
    
    

• Distance

  • LpDistance (Euclid Distance)
    • yhayato1320.hatenablog.com

実装

Library Install

Load Dataset

学習モデルの準備

Loss の構築

学習の実行