【動画像処理】Diffusion Model #まとめ編

Index

アルゴリズム

Diffusion Model を利用した動画像処理の手法をまとめる.

• Diffusion Model #まとめ編

  • yhayato1320.hatenablog.com
    
    

• 動画像処理 #まとめ編

  • yhayato1320.hatenablog.com

gen1 / 2023

VIdeo の生成.

• Structure and Content-Guided Video Synthesis with Diffusion Models
  • [2023]
  • arxiv.org
  • research.runwayml.com

Masked Enhanced Block U-Net / 2023

• Learning 3D Photography Videos via Self-supervised Diffusion on Single Images
  • [2023]
  • arxiv.org

VideoFusion / 2023

拡散モデルを使った動画生成.

で中心フレームのデノイジングを行った後、他フレームはそこからの差分のデノイジングのみモデル化する. 学習が容易になるだけでなく、画像で事前学習した大きなモデルで一度推論し、差分は小さなモデルで扱えるため効率が良い

• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation
  • [2023]
  • arxiv.org

NUWA-XL / 2023

Video 生成.

• NUWA-XL: Diffusion over Diffusion for eXtremely Long Video Generation
  • [2023]
  • arxiv.org

MC Diffusion / 2023

• Motion-Conditioned Diffusion Model for Controllable Video Synthesis
  • [2023]
  • arxiv.org

タスク

Video Editing

Video と Text (編集内容) を入力として、変更された動画を出力する.

Image Editing の拡張.

• Image Editing
  • yhayato1320.hatenablog.com

Dreamix / 2023

• Dreamix: Video Diffusion Models are General Video Editors
  • [2023]
  • arxiv.org
  • t.co

Video-P2P / 2023

• Video-P2P: Video Editing with Cross-attention Control
  • [2023]
  • arxiv.org
  • video-p2p.github.io
  • huggingface.co
  • github.com

Edit-A-Video / 2023

• Edit-A-Video: Single Video Editing with Object-Aware Consistency
  • [2023]
  • arxiv.org
  • edit-a-video.github.io

FateZero / 2023

• FateZero: Fusing Attentions for Zero-shot Text-based Video Editing
  • [2023]
  • arxiv.org
  • fate-zero-edit.github.io
  • github.com

Pix2Video / 2023

• Pix2Video: Video Editing using Image Diffusion
  • [2023]
  • arxiv.org
  • duyguceylan.github.io

vid2vid-zero / 2023

• Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models
  • [2023]
  • arxiv.org
  • github.com

ツール

ComfyUI

• ComfyUI
  • www.youtube.com

TrailBlazer

• TrailBlazer
  • note.com