【深層学習】Style GAN #まとめ編

• GAN #まとめ編
  • yhayato1320.hatenablog.com

Index

Style GAN

Style GAN / 2018

• Style GAN
• PG GAN をベースに Generator にスタイル情報 (中間潜在変数 ) を徐々に追加するように改善.
• 


• : 潜在変数
  : 中間潜在変数


• yhayato1320.hatenablog.com

Style GAN 2 / 2019

• Style GAN 2
• 


• : 潜在変数
  : 中間潜在変数
  : スタイル情報
  


• yhayato1320.hatenablog.com

Style Space / 2020

• Style Space
• 


• 


• : 潜在変数
  : 中間潜在変数
  : 中間潜在変数
  : スタイル情報
  


• yhayato1320.hatenablog.com

Style GAN 3 / Alias Free GAN / 2021

• Alias-Free Generative Adversarial Networks

  • [2021]
  • v4
  • arxiv.org
    
    

• StyleGAN3!? - What AI Actually Sees When Generating Faces [Alias-Free GAN]

  • 2021
  • www.youtube.com

StyleGAN-NADA / 2021

• StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators

  • [2021]
  • arxiv.org
    
    

• 言葉と文化 StyleGAN-NadaとMultilingual-CLIPについて

  • wirelesswire.jp

StylEx / 2021

• Explaining in Style: Training a GAN to explain a classifier in StyleSpace

  • [2021 Google]
  • arxiv.org
    
    

• Introducing StylEx: A New Approach for Visual Explanation of Classifiers

  • google blog
  • ai.googleblog.com

Style GAN-XL / 2022

• Style GAN-XL
  • yhayato1320.hatenablog.com

Style GAN-T / 2023

• StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis
  • [2023]
  • arxiv.org
    
    

アーキテクチャを改善し、生成速度を維持したまま。生成画像の品質を向上.

StyleGAN を昨今発展している拡散モデルレベルまでtext2imageの性能を引き上げる研究.

大規模で多様なデータセットへの対応やモデルのキャパシティを向上さえるために、 StyleGAN-XLをベースにアーキテクチャの大規模な変更、DINOを識別器のエンコーダーに使用

• 【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis
  • 【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis from Deep Learning JP
    www.slideshare.net

応用

pSp / 2020

pixel2Style2pixel

• Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation

  • [2020]
  • arxiv.org
    
    

• 数多の画像変換が可能！StyleGANの新たなEncoder！pixel2Style2pixel

  • 2020
  • ai-scholar.tech

Style CLIP / 2021

• Style CLIP
  • yhayato1320.hatenablog.com

StyleGANEX / 2023

• StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces
  • [2023]
  • arxiv.org
  • www.mmlab-ntu.com
  • github.com

参考

• Awesome StyleGAN Applications

  • 2021
  • Style GAN やその応用を用いて、image manipulation / 画像変換の手法をまとめた
  • Style GAN / Style GAN 2 / Style GAN 3 (Alias Free GAN) / Style GAN Inversion / Image2StyleGAN / pSp / e4e / ReStyle / Image2StyleGAN++ / Style Flow / Style Rig / StyleNeRF / Style CLIP
  • hippocampus-garden.com
    
    

• StyleGANを用いた全身画像生成

  • 2022
  • tech.preferred.jp