オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【動画像処理】物体追跡 / Object Tracking #まとめ編 #02

【動画像処理】物体追跡 / Object Tracking #まとめ編 #02

データサイエンス データサイエンス-時系列解析 データサイエンス-画像処理

Index

物体追跡 / Object Tracking とは

連続する画像データ (動画像データ) を入力として、動画像中の変化・移動していく物体を追跡するタスク.



ここでは、ルールベース / 画像処理ベースの手法をまとめる.

アルゴリズム

Centroid Tracking

Correlation Filter Tracking

Correlation Filter / 相関フィルター を用いたアルゴリズム.





最初のフレームでターゲットとなる物体が検出されていることを前提とする.

このターゲットが次のフレームのどこにあるかを考えたい.

そこで、Search Window (2次元の長方形の領域) を次のフレーム内で動かし、 Search Window の領域内の画像とターゲットの画像の類似度 (相関) を計算し、 最も高い相関を出した Search Window の領域が、前フレームでターゲットとしていた物体が写っている可能性が高い.

入力画像 f、フィルター h をフーリエ変換 (Fast Fourier Transform; FFT) する.

F = FFT(f)
H = FFT(h)



そのとき、相関 G は以下のように計算できる.

G = F \odot H^{*}


\odot は要素ごとの積. H^{*} は H の複素共役.

相関の出力は、逆FFTを使用して空間ドメインに変換される

このアルゴリズムの弱点は、通常の FFT と逆 FFT の 2 つを利用することによる処理時間コストである.

MOSSE Tracking / 2010

Discriminative Correlation Tracking / 2014

Simple Online and Realtime Tracking / SORT / 2016

ByteTrack / 2021

  • ByteTrack: Multi-Object Tracking by Associating Every Detection Box

参考