オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】TransTrack

【深層学習】TransTrack

データサイエンス データサイエンス-深層学習

Index

TransTrack

Transformer を利用した Object Tracking.

Siamese Network を利用した Tracking by Detection の MOT

これまでの Tracking.

Query-Key Mechanism を導入した SOT

Object Detection を導入した、検出した物体を Query する手法が誕生.

Query-Key Mechanism を MOT へ適用

前の手法に比べ、Multi Step の Tracking-by-Detection ではなく、直接 Re Id も行うことができる.

しかし、Query-Key Mechanism を MOT へ適用させるだけだと、検出の失敗が発生する.

Transformer (Attention) の導入

TransTrack は、Query-Key Mechanism を MOT へ適用した仕組みに Transformer を導入した.

Method

Architecture

Transformer をベースとした、Encoder-Decoder の Architecture.

それぞれ、Self Attention の部分は、Multi Head Attention を採用.

Object Detection

物体検出のアルゴリズム DETR をベースに利用している.

実装

参考

  • TransTrack: Multiple Object Tracking with Transformer
    • [2020]
    • 1 Introduction
    • 2 Related Work
      • Transformer in vision tasks
      • Tracking-by-detection
      • Joint-detection-and-tracking
    • 3 TransTrack
      • 3.1 Pipeline
        • Architecture
        • Object Detection
        • Object Propagation
        • Box Association
      • 3.2 Training
      • 3.3 Inference
    • arxiv.org

Web サイト