【動画像処理】Transformer #まとめ編

Index

動画への応用

Transformer を動画へ応用した手法をまとめる.

• Transformer #まとめ編

  • yhayato1320.hatenablog.com
    
    

• 動画像処理 #まとめ編

  • yhayato1320.hatenablog.com

アルゴリズム

VisTR / 2020

• End-to-End Video Instance Segmentation with Transformers
  • [2020]
  • arxiv.org

ViViT / 2021

• ViViT: A Video Vision Transformer
  • [2021]
  • arxiv.org
  • ai-scholar.tech

Memory-efficient Bidirectional Transformer / MeBT / 2023

Video 生成.

• Towards End-to-End Generative Modeling of Long Videos with Memory-Efficient Bidirectional Transformers
  • [2023]
  • arxiv.org
  • sites.google.com

Video Taskformer / 2023

• Learning and Verification of Task Structure in Instructional Videos
  • [2023]
  • arxiv.org
  • medhini.github.io

Streaming Vision Transformer / S-ViT / 2023

• Streaming Video Model
  • [2023]
  • arxiv.org

SVT / 2023

• SVT: Supertoken Video Transformer for Efficient Video Understanding
  • [2023]
  • arxiv.org

Adaptive Matting / AdaM / 2023

• Adaptive Matting for Dynamic Videos, termed AdaM
  • [2023]
  • arxiv.org

StepFormer / 2023

• StepFormer: Self-supervised Step Discovery and Localization in Instructional Videos
  • [2023]
  • arxiv.org

タスク

Video Restoration

ReBotNet / 2023

• ReBotNet: Fast Real-time Video Enhancement
  • [2023]
  • arxiv.org
  • jeya-maria-jose.github.io

参考

• コンピュータービジョン最前線 Spring 2022
  • 1 イマドキノ動画認識
    • 1.2 代表的な認識モデル
      • 1.2.2 認識モデル
        • Trasformer による認識モデル
        • 動画認識における CNN vs Transformer

  • コンピュータビジョン最前線 Spring 2022