オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【マルチモーダル】VSE++

【マルチモーダル】VSE++

データサイエンス データサイエンス-マルチモーダル

Index

VSE++

VSE は、Image Caption と Visual Question Answering などで利用される考え.

損失関数

工夫

この手法の主な工夫は、損失関数に、Hard Negatives を組み込むこと.

以下の手法の改善.

ソースコード

参考

  • VSE++: Improving Visual-Semantic Embeddings with Hard Negatives
    • [2018]
    • 1 Introduction
    • 2 Learning Visual-Semantic Embeddings
      • 2.1 Visual-Semantic Embedding
      • 2.2 Emphasis on Hard Negatives
      • 2.3 Probability of Sampling the Hardest Negative
    • arxiv.org

Web サイト