オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】Dual Matching Attention Networks / DMAN

【深層学習】Dual Matching Attention Networks / DMAN

データサイエンス データサイエンス-深層学習

Index

Dual Matching Attention Networks / DMAN

Online Multi Object Tracking のアルゴリズム.

Algorithm

Single Object Tracking と Data Association (Re-ID) で構成されている.



detection した物体と tracking している物体の類似度を計算することで、Data Association している.

Single Object Tracking

単一の物体の情報をどのように保持するか.

Efficient Convolution Operators / ECO

Single Object Tracking のアルゴリズムに Efficient Convolution Operators / ECO を利用.

  • ECO: Efficient Convolution Operators for Tracking

見た目からの情報を利用した高速な Tracking アルゴリズム.

image patch からの d 個の feature map :

x\ =\ \{(x^{1})^{T},\ \cdots,\ (x^{D})^{T} \}


それぞれの特徴量 x^{d} のチャネルは、 N_{d} で表し、 x^{d}\ \in\ R^{N_{d}} とかける.



従来の Correlation Filter / 相関フィルターのトラッキングアルゴリズムとは異なり、 ECO Tracker は、離散的な特徴量を連続的な空間として扱い、 Multi Channel Convolution Filter (畳み込み演算)を学習することを目的としている.

目的関数は、
\begin{eqnarray} E(\ f\ )\ &=&\ \sum_{j=1}^{M}\ \alpha_{j} ||\ S_{f}\{x_{j}\}(t)\ -\ y_{j}(t)\ ||_{L^{2}} \\ &+&\ \sum_{d=1}^{D} ||\ w(t)\ f^{d}(t)\ ||_{L^{2}} \\ & & \\ & &\ t\ \in\ [0,\ T) \end{eqnarray}



  • Multi Channel Convolution Filter : f\ =\ \{\ f^{1},\ \cdots,\ f^{D}\ \}
  • batch size M の学習データ : \{\ x_{j}\ \}_{1}^{M}


  • 係数 \alpha_{j}
  • Convolution Operator : S_{f}
    • Score Function / ターゲット t が存在する確信度 : S_{f}{x_{j}}(t)
  • Label Function : y_{j}(t)


  • 正則化のための重み関数 : w(t)



上の目的関数は、以下のように変換できる.

(A^{H} \Gamma A\ +\ W^{H}W)\ \hat{f}\ =\ A^{H} \Gamma\ \hat{y}

Cost-Sensitive Tracking Loss

Data Association / Re-ID

Tracking Rule

追跡における信頼度 / Tracking Score s を利用して、追跡するか、削除するかを決定する.

また、直近のいくつかのフレームにて、検出されない、Tracking している物体は、誤りである可能性が高いので、 Tracker と Detector の情報を連携することで、削除する.

追跡している物体と検出した物体の重なりに対する評価

o(t_{l},\ D_{l})\ =\ \left\{ \begin{array}{ll} 1 & 重なり率 > 0.5 \\ 0 & otherwise \end{array} \right.


ここで、
  • l フレーム前の tracked target : t_{l}\ \in\ T_{l}
  • l フレーム前の Detections : D_{l}



その評価の集合 \{\ o(t_{l},\ D_{l})\ \}_{1}^{L} の平均を o_{mean} とする.



そして、追跡している物体の状態 / state は以下のように決定される.

state\ =\ \left\{ \begin{array}{ll} tracked & s\ >\ \tau_{s}\ and\ o_{mean}\ >\ \tau_{o} \\ lost & otherwise \end{array} \right.

検出候補の選択

Attention Network

追跡している物体と検出した物体の類似度を測定するために 2 つの Attention Networkを利用.



2 つの Attention Network を利用する.

Spatial Attention Network / SAN

Temporal Attention Network / TAN

精度評価

MOT16 / MOT17 を利用.

参考

  • Online Multi-Object Tracking with Dual Matching Attention Networks
    • [2019]
    • 2 Related Work
      • 2.1 Multi-Object Tracking
      • 2.2 Attention Model
      • 2.3 Data Imbalance
    • 3 Proposed Online MOT Algorithm
      • 3.1 Single Object Tracking
      • 3.2 Data Association with Dual Matching Attention Network
    • 4 Experiments
      • 4.3 Performance on the MOT Benchmark Datasets
    • arxiv.org

Web サイト