【深層学習】AnimateDiff

Index

AnimateDiff

AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

Stable Diffusion の進歩により、容易に高品質な画像を生成できるようになった.

• Stable Diffusion
  • yhayato1320.hatenablog.com
    
    

そして、DreamBooth や LoRA のような軽量なパーソナライゼーション手法が登場し、ユーザーは少量のデータセットと手頃なハードウェアでベースとなるT2Iモデルを新しいドメインに適応させ、ビジュアル品質を向上させることが可能になった.

• DreamBooth

  • yhayato1320.hatenablog.com
    
    

• LoRA

  • yhayato1320.hatenablog.com
    
    

既存の高品質なパーソナライズされたT2Iモデルを、モデル固有の微調整を必要とせずに直接アニメーションジェネレーターに変換する.

要素技術

ドメインアダプター / Domain Adapter

モーションモジュール / Motion Module

MotionLoRA

参考

• AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning
  • [2023]
  • 1 INTRODUCTION
  • 3 PRELIMINARY
    • Stable Diffusion
    • Low-rank adaptation (LoRA)
  • 4 ANIMATEDIFF
    • 4.1 ALLEVIATENEGATIVEEFFECTSFROMTRAININGDATAWITHDOMAINADAPTER
    • 4.2 LEARNMOTIONPRIORSWITHMOTIONMODULE
    • 4.3 ADAPT TO NEW MOTION PATTERNS WITH MOTIONLORA
    • 4.4 ANIMATEDIFF IN PRACTICE
  • arxiv.org