オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】Sparse Graph Tracker / SGT

【深層学習】Sparse Graph Tracker / SGT

データサイエンス データサイエンス-深層学習

Index

SGT

GNN を用いた Object Tracking.

Architecture

Shared Detector



Detection としての機能.

DLA-34 を内蔵した CenterNet を利用.

CenterNet からは、Box Size が出力される.

(s_{l},\ s_{r},\ s_{t},\ s_{b})



また、各 pixcel ごとの Feature Map も出力.

B_{score}\ \in\ R^{H_{h}\ \times\ H_{w}\ \times\ 1}



H_{h},\ H_{w} は、Feature Map の大きさ.



各 pixcel ごとの size は、

B_{size}\ \in\ R^{H_{h}\ \times\ H_{w}\ \times\ 4}



各 pixcel ごとの offset は、

B_{off}\ \in\ R^{H_{h}\ \times\ H_{w}\ \times\ 2}



フレーム T として、CenterNet からの出力 D_{T} をまとめると

D_{T}\ =\ (S_{T},\ B_{T})


  • S_{T}\ =\ B_{score}
  • B_{T}\ \in\ R^{H_{h}\ \times\ H_{w}\ \times\ 4}

Sparse Graph Tracker



Tracker としての機能.

Tot-K Scored detections



フレーム 画像 I_{t1},\ I_{t2} から検出した物体で、Detection Score が高い物体を K 個選出.



もしくは、閾値でフィルタリングする.

Sparse Graph Builder



検出した物体を Node として、 どのフレームから検出されたによって、2 つの集合 N_{t1},\ N_{t2} に分割される.



物体 Node は、CenterNet からの Feature Map を値として持っている.

Node (V): n_{t1}^{i}\ \in\ N_{t1},\ n_{t2}^{i}\ \in\ N_{t2}



Node 間の Edge は、 N_{t1},\ N_{t2} 間の間でしか発生しない.



Edge の値は、物体 (Node) 同士の類似度と考えれば良いので、

  • 中心点の距離
  • Feature Map のコサイン類似度
  • IoU Score

などを利用する.

フレームの前後で同一である物体 (Node) の Edge の値が最小になるように、GNN で学習する.

オクルージョンの対策として、 フレームに存在しなくなった物体でも、 age_{max} 期間は、保存される.

Graph Neural Network

Message Passing Process

上で定めた Node (V) と Edge (E) の値を Message Passing Process を通じて、更新する.



  1. Edge (E) の値の更新
  2. Node (V) の値の更新

Edge Classifier



Full Convolution Layer が Edge Score を出力.

Edge Score は、2 つの物体 (Node) が、同一の物体である確率値を示している.

このスコアに基づいて、Hungarian Algorithm を用いて、ペアの決定 (Matching) を効率的に行う.

次に、Edge Threshold ( \tau_{E}) を用いて、有効な Edge (赤い Edge) と無効な Edge (緑の Edge) に分類する.

Detection Score が閾値よりも低い場合でも、Edge Score が閾値を超えていれば、Tracking の対象の候補とする (黄色い Node).

Node Classifier



Full Convolution Layer からの出力.

更新された Node の特徴量から Node Score を出力する.

閾値 Node Threshold ( \tau_{N} を用いて、有効な Node と無効な Node に分類する.

上の Edge Classifier において、Edge Score が高く Tracking の追跡の候補となっていた Node の Node Score が閾値よりも高い場合は、Tracking の対象に加える.

精度評価

MOT

HiEve

実装

参考

  • Detection Recovery in Online Multi-Object Tracking with Sparse Graph Tracker
    • [2022]
    • 2 Related Works
      • 2.1 JDT Method
        • JDT by reID
      • 2.2 Graph-based Multi-object Tracking
    • 3 Sparse Graph Tracker
      • 3.1 Overall Architecture
        • Sparse graph builder
        • Graph neural network
        • Edge classifier
        • Node classifier
      • 3.2 Graph Construction and Update
    • arxiv.org