オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】Strong SORT #アルゴリズム編

【深層学習】Strong SORT #アルゴリズム編

データサイエンス データサイエンス-時系列解析 データサイエンス-深層学習 データサイエンス-画像処理

Index

Strong SORT

Deep SORT の改善・拡張.

Global Link

ReID における改善方法.

Global Link の改善.

LGM Tracker

Detector と Feature Extractor の強化



BoT

特徴量抽出の改善手法.

  • A Strong Baseline and Batch Normalization Neck for Deep Person Re-identification

Feature Bank の改善



Deep SORT では、ある ID の物体の特徴量を 100 フレーム分、何もせず保存していただけだった.

Exponential Moving Average / EMA

前のフレームの情報ほど、確かな特徴量ではなくなるため、 過去の特徴量を更新する.

  • Exploit the Connectivity: Multi-Object Tracking with TrackletNet

Exponential Moving Average / EMA

e^{t}_{i}\ =\ \alpha\ \cdot\ e^{t-1}_{i}\ +\ (1\ -\ \alpha)f^{t}_{i}



  • e^{t}_{i} : 更新後の外観の特徴量
    • t : フレーム id
    • i : 追跡物体 id
  • \alpha : パラメータ
  • f^{t}_{i} : 更新前の外観の特徴量

Enhanced Correlation Coefficient / ECC



カメラの視点が変わることに対する補正を行う.

フーレム間の位置情報の割り当て補正処理を行う.

Exponential Moving Average / EMA

E_{ECC}\ (p)\ =\ \left\| \displaystyle \frac{\bar{i}_{r}}{\|\ \bar{i}_{r}\ \|}\ -\ \displaystyle \frac{\bar{i}_{w}\ (p)}{\|\ \bar{i}_{w}\ (p)\ \|} \right\|^{2}



  • p : warping parameter
  • \bar{i}_{r} : 画像 i_{r} の平均値
  • \bar{i}_{w}\ (p) : 画像 i_{r}\ (p) の平均値

NSA Kalman



通常の Kalman Filter は、低精度の検出による位置情報に含まれるのノイズに弱い.

Matching Cost の改善



DeepSORT では、Matching 計算のために利用する Cost に、見た目の情報のみを利用していたが、 Strong SORT では、動きの情報も含めて、Cost に利用する.

Cost

C\ \lambda\ A_{a}\ +\ (1\ -\ \lambda)\ A_{m}



  • A_{a} : Appearance Cost
  • A_{m} : Motion Cost
  • \lambda : Parameter 0.98

実装

参考

  • StrongSORT: Make DeepSORT Great Again
    • [2022]
    • 2 RELATED WORK
      • 2.1 Separate and Joint Trackers
      • 2.2 Global Link in MOT
    • 3 STRONG SORT
      • 3.1 Review of DeepSORT
      • 3.2 Strong SORT
        • Advanced modules
        • EMA
        • ECC
    • arxiv.org

Web サイト

  • StrongSORT: DeepSORTが強くなって帰ってきた！アップグレードされた追尾モデル！