オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】InstructPix2Pix

Index

InstructPix2Pix

Conditional Diffusion Model.

Conditional の部分に pix2pix を想起か?



Image Editing のタスク.

Method

学習画像の生成

Text の生成



GPT-3 を利用して、生成.

画像の生成



Stable Diffusion を利用して画像を生成する.

参考

  • InstructPix2Pix: Learning to Follow Image Editing Instructions
    • [2022]
    • 2 Prior work
      • Composing large pretrained models
      • Diffusion-based generative models
      • Generative models for image editing
    • 3 Method
      • 3.1 Generating a Multi-modal Training Dataset
    • arxiv.org