オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【動画像処理】物体追跡 / Object Tracking #まとめ編 #02

Index

物体追跡 / Object Tracking とは

連続する画像データ (動画像データ) を入力として、動画像中の変化・移動していく物体を追跡するタスク.



ここでは、ルールベース / 画像処理ベースの手法をまとめる.

アルゴリズム

Centroid Tracking

Correlation Filter Tracking

Correlation Filter / 相関フィルター を用いたアルゴリズム.






最初のフレームでターゲットとなる物体が検出されていることを前提とする.

このターゲットが次のフレームのどこにあるかを考えたい.

そこで、Search Window (2次元の長方形の領域) を次のフレーム内で動かし、 Search Window の領域内の画像とターゲットの画像の類似度 (相関) を計算し、 最も高い相関を出した Search Window の領域が、前フレームでターゲットとしていた物体が写っている可能性が高い.

入力画像  f、フィルター  hフーリエ変換 (Fast Fourier Transform; FFT) する.

 F = FFT(f)
 H = FFT(h)



そのとき、相関  G は以下のように計算できる.

 G = F \odot H^{*}


 \odot は要素ごとの積.  H^{*} H複素共役.

相関の出力は、逆FFTを使用して空間ドメインに変換される

このアルゴリズムの弱点は、通常の FFT と逆 FFT の 2 つを利用することによる処理時間コストである.

MOSSE Tracking / 2010

Discriminative Correlation Tracking / 2014

Simple Online and Realtime Tracking / SORT / 2016

ByteTrack / 2021

  • ByteTrack: Multi-Object Tracking by Associating Every Detection Box

参考