オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【マルチモーダル】Text to Image #まとめ編 #01

【マルチモーダル】Text to Image #まとめ編 #01

Index

Text to Image

Text から Image を生成する Vision-Language のマルチモーダルなタスク.

Diffusion Model を用いた手法をまとめる.

GLIDE / 2021

RDM / 2022

テキスト入力から画像を生成する際に、外部データベースにある「テキストに合致する画像群」を元に画像生成するという手法.



  • Semi-Parametric Neural Image Synthesis

DreamBooth / 2022

特定の被写体の画像数枚を拡散モデルに学習させることで、特定の被写体を生成する方法を提案.

特定の被写体をモデルに埋め込みながら、拡散モデルが持つ事前知識を忘れないようにすることで目的を達成.



Composable-Diffusion / 2022

UniTune / 2022

テキストによる指示に基づいて既存の画像を編集する. 既存のテキスト駆動型画像生成モデルを単一の画像で微調整することで機能し、ユーザーはマスクなどの追加入力なしに編集を実行できる. 元の画像のディテールを保持しながら、大きな視覚的変化を含む多様な編集に対応.

  • UniTune: Text-Driven Image Editing by Fine Tuning a Diffusion Model on a Single Image

Custom Diffusion / 2022

事前学習済みのテキストから画像への拡散モデルを新しい概念でカスタマイズする方法. 特に、ユーザー提供の少数の画像からモデルを拡張し、個人のペットや特定のオブジェクトのような概念を生成できるようにすることに焦点を当てている. この方法では、既存の概念の意味を失わせることなく、複数の新しい概念を組み合わせて画像を生成する際の課題と、それに対する解決策を提案.

ReCo / 2022

大規模なテキストから画像への生成モデル (T2I)の制御性を高めるために設計された新しい手法、ReCo (Region-Controlled T2I). このアプローチの主な動機は、従来のT2Iモデルが複雑なプロンプトにおいて、正確な物体配置、数、および空間的な関係性を扱う上での課題を克服すること. ReCoは、事前学習済みのT2Iモデル（Stable Diffusionなど）を拡張し、ユーザーが提供するフリーフォームのテキストと空間座標を示す位置トークンを組み合わせて使用. これにより、制約のある物体語彙に依存するレイアウトから画像への生成とは異なり、任意の画像領域に対してオープンエンドな記述が可能.

  • ReCo: Region-Controlled Text-to-Image Generation

ControlNets / 2023

拡散モデルを humanpose など様々な条件で制御できるようにした. 学習する条件部NNはゼロ重みで初期化した層で入力と出力を挟み、固定の学習済み拡散モデルUNetの復号部に加える. 学習時プロンプトは半分の確率でドロップアウトし、条件部利用を促進させる.

T2I-Adapter / 2023

  • T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models

  • huggingface.co

    • huggingface

Fair Diffusion / 2023

  • Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness

Hybrid Diffusion Model / HDM / 2023

  • Controlled and Conditional Text to Image Generation with Diffusion Prior

Directed Diffusion / 2023

  • Directed Diffusion: Direct Control of Object Placement through Attention Guidance

X&Fuse / 2023

  • X&Fuse: Fusing Visual Information in Text-to-Image Generation

VPD / 2023

Word-As-Image / 2023

  • Word-As-Image for Semantic Typography

ODISE / 2023

Text-to-Image Model Editing method / TIME / 2023

HiPer / 2023

  • Highly Personalized Text Embedding for Image Manipulation by Stable Diffusion

P+ / 2023

DS-Fusion / 2023

ロゴの生成.

GlueGen / 2023

  • GlueGen: Plug and Play Multi-modal Encoders for X-to-image Generation

MagicFusion / 2023

Anti-DreamBooth / 2023

Diffusion Classifier / 2023

Forget-Me-Not / 2023

  • Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models

SuTI / 2023

  • Subject-driven Text-to-Image Generation via Apprenticeship Learning

Diffusion SpaceTime Attn / 2023

  • Harnessing the Spatial-Temporal Attention of Diffusion Models for High-Fidelity Text-to-Image Synthesis

Continual Diffusion / 2023

RAPHAEL / 2023

  • RAPHAEL: Text-to-Image Generation via Large Mixture of Diffusion Paths

タスク

Image Editing

Text-to-3D

3DFuse / 2023

工夫・テクニック

Textual Inversion / 2022

Textual Inversionと呼ばれる、既存の画像生成モデルに新しい概念を学習させる手法. わずか3〜5枚の画像を用意するだけで、特定の物体や独自の画風を疑似単語としてモデルの語彙に追加し、自由なテキストで操作できるようになる. この技術の最大の特徴は、巨大なモデル自体を書き換えるのではなく、テキスト埋め込み空間内で最適なベクトルを探索する点にある. これにより、モデルが元々持っている高度な表現力を維持したまま、パーソナライズされた画像生成や、学習データの偏りを修正するバイアス軽減が可能. 検証の結果、この手法は従来の生成・編集技術と比較しても、対象の詳細な再現性とテキストによる編集のしやすさを高い水準で両立していることが示されている.

  • An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

SVDiff / 2023

Fine Turning のテクニック.

  • SVDiff: Compact Parameter Space for Diffusion Fine-Tuning

Local Prompt Mixing / 2023

Ablating Concepts / 2023

Discriminative Class Tokens / 2023

  • Discriminative Class Tokens for Text-to-Image Diffusion Models

Layout Guidance / 2023

参考

  • Text-to-Image Diffusion Models are Zero-Shot Classifiers

Web サイト

  • DiffusionによるText2Imageの系譜と生成画像が動き出すまで