【深層学習】物体追跡 / Object Tracking #まとめ編 #02

Index

物体追跡 / Object Tracking とは

連続する画像データ (動画像データ) を入力として、動画像中の変化・移動していく物体を追跡するタスク.

• 物体追跡 / Object Tracking #まとめ編
  • yhayato1320.hatenablog.com
    
    

ここでは、CNN を用いた手法をまとめる.

• Convolutional Neural Network / CNN #まとめ編
  • yhayato1320.hatenablog.com

Tracking-by-Detection

Detection と Tracking を別々に行う.

Siamese CNN / 2016

• Learning by tracking: Siamese CNN for robust target association
  • [2016]
  • arxiv.org

Person of Interest / POI / 2016

• Person of Interest / POI
  • yhayato1320.hatenablog.com

Deep SORT / 2017

• Deep SORT
  • MOT な手法
  • SORT の改善手法
    • 画像からの特徴量抽出に CNN を利用
  • yhayato1320.hatenablog.com

CNNMTT / 2017

• Multi-target tracking using CNN-based features: CNNMTT
  • [2017]
  • https://www.academia.edu/download/61742940/10.1007_s11042-018-6467-620200110-27024-1d1iyxa.pdf

TAP / 2018

• Online Multi-Target Tracking with Tensor-Based High-Order Graph Matching
  • [2018]
  • https://www.semanticscholar.org/paper/Online-Multi-Target-Tracking-with-Tensor-Based-Zhou-Xing/07a4feb747b0c874c79ab3d37b3d6e84cbabce6dwww.semanticscholar.org
    • 有料
  • drive.google.com
    • 無料

SST / 2018

• Deep Affinity Network for Multiple Object Tracking
  • [2018]
  • arxiv.org

SiamCAR / 2019

• SiamCAR: Siamese Fully Convolutional Classification and Regression for Visual Tracking

  • [2019]
  • arxiv.org
    
    

• Object trackingの手法(SiamCAR)を解説

  • qiita.com

SiamFC++ / 2019

• SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines

  • [2019]
  • arxiv.org
    
    

• とにかく速いObject trackingの手法、SiamFC++を解説

  • qiita.com

Center Tracking / 2020

Detector に CenterNet を利用.

• Tracking Objects as Points
  • [2020]
  • arxiv.org

TubeTK / 2020

• TubeTK: Adopting Tubes to Track Multi-Object in a One-Step Training Model
  • [2020]
  • arxiv.org

GSM / 2020

• GSM:GraphSimilarityModelforMulti-ObjectTracking
  • [2020]
  • https://www.ijcai.org/proceedings/2020/0074.pdf

ReMOT / 2020

• ReMOT: AModel-agnostic Refinement for Multiple Object Tracking
  • [2020]
  • https://ahcweb01.naist.jp/papers/journal/2020/2020_IVC_fan-ya_2/202012_IVC_fan-ya.paper.pdf

SiamMOT / 2021

• SiamMOT: Siamese Multi-Object Tracking
  • [2021]
  • arxiv.org

DEFT / 2021

• DEFT: Detection Embeddings for Tracking
• [2021]
• 
• arxiv.org

TMOH / 2021

• Improving Multiple Pedestrian Tracking by Track Management and Occlusion Handling
  • [2021]
  • https://openaccess.thecvf.com/content/CVPR2021/papers/Stadler_Improving_Multiple_Pedestrian_Tracking_by_Track_Management_and_Occlusion_Handling_CVPR_2021_paper.pdf

Modelling Ambiguous Assignments Track / MAA Track / 2022

• Modelling Ambiguous Assignments for Multi-Person Tracking in Crowds
  • [2022]
  • openaccess.thecvf.com

End-to-End

Detection と Tracking を同時に行う.

D&T / 2017

• Detect to Track and Track to Detect
  • [2017]
  • arxiv.org

Integrated-Detection / 2018

• Integrated Object Detection and Tracking with Tracklet-Conditioned Detection
  • [2018]
  • arxiv.org

Tracktor++ / 2019

• Tracking without bells and whistles
  • [2019]
  • arxiv.org

Joint Learning of Detection and Embedding / JDE / 2019

• Joint Learning of Detection and Embedding / JDE
  • yhayato1320.hatenablog.com

FAMNet / 2019

• FAMNet: Joint Learning of Feature, Affinity and Multi-dimensional Assignment for Online Multiple Object Tracking
  • [2019]
  • arxiv.org

ChainedTracker / CTracker / 2020

• Chained-Tracker: Chaining Paired Attentive Regression Results for End-to-End Joint Multiple-Object Detection and Tracking
  • [2020]
  • arxiv.org

FairMOT / 2020

• FairMOT
  • MOT の手法
  • yhayato1320.hatenablog.com

Quasi Dense Tracking / QDTrack / 2020

複数の物体追跡（Multiple Object Tracking, MOT）のための新しいアプローチである準密相似性学習（Quasi-Dense Similarity Learning）と、それに基づくQuasi-Dense Tracking（QDTrack）という手法を提案する研究. これまでのMOT手法が疎なGTマッチングのみに依存していたのに対し、QDTrackは数百の領域提案を密にサンプリングし、複数のポジティブを含む対照学習を用いてインスタンスの類似性を学習する. これにより、より判別力の高い特徴空間が生成され、単純な最近傍探索による物体関連付けが可能になる. 結果として、QDTrackはMOT、BDD100K、Waymoなどの主要なベンチマークで、既存の手法を上回る高い性能を示し、モーションや変位の予測に頼らない、よりシンプルなトラッキングフレームワークを確立.

• Quasi-Dense Similarity Learning for Multiple Object Tracking
  • [2020]
  • arxiv.org
    
    

https://t.co/P3Lmckkt0f
通常、トラッキングではGTの疎な信号のみを使うが、物体検知による全ての物体の提案を使うことで、密な特徴マッチングをさせる。動きの事前分布に頼らずとも、MOT、BDD100K、Waymo、TAOのトラッキングベンチマークにおいて、既存のすべての手法を上回る性能を示した。 pic.twitter.com/7bngYQKDuI

— akira (@AkiraTOSEI) August 5, 2021

RetinaTrack / 2020

Object Detection のアルゴリズムである RetinaNet を拡張.

• RetinaNet

  • yhayato1320.hatenablog.com
    
    

• RetinaTrack: Online Single Stage Joint Detection and Tracking

  • [2020]
  • arxiv.org

TraDeS / TRAck to DEtect and Segment / 2021

• Track to Detect and Segment: An Online Multi-Object Tracker
  • [2021]
  • arxiv.org

PermaTrack / 2021

• Learning to Track with Object Permanence
  • [2021]
  • arxiv.org

SOT-MOT / 2021

CenterNet の考えを拡張.

• CenterNet

  • yhayato1320.hatenablog.com
    
    

• Improving Multiple Object Tracking with Single Object Tracking

  • [2021]
  • https://openaccess.thecvf.com/content/CVPR2021/papers/Zheng_Improving_Multiple_Object_Tracking_With_Single_Object_Tracking_CVPR_2021_paper.pdf

SimpleTrack / 2022

• SimpleTrack: Rethinking and Improving the JDE Approach for Multi-Object Tracking
  • [2022]
  • arxiv.org

Pre Training Model

• Pre Training
  • yhayato1320.hatenablog.com

UniTrack / 2021

• Do Different Tracking Tasks Require Different Appearance Models?
  • [2021]
  • arxiv.org