- 生成モデル #まとめ編
Style Space
Style GAN 2 の潜在的なスタイル空間を調査する.
Style GAN 2
Style GAN #まとめ編
第一に、チャネルごとの Style Parameter 空間である Style Space が、
他の中間潜在空間よりも、わかりやすいことを示す.
第二に、Style Channel の大規模な種類を検出する.
第三に、特定の属性を制御する Style Channel を識別する.
最後に、Style Space をコントロールすることによる、画像の編集・操作・manipulation の可能性.
テーマ
Style GAN における潜在変数について
Style GAN / Style GAN 2 のデータの生成には、いくつかの潜在変数が登場する.
最初の潜在変数 は、正規分布からサンプリングされる.
次に、潜在変数 を FCN で線形変換すること (Mapping Network) で、中間潜在変数
を得る.
次に、中間潜在変数 は、Generator の Synthesis Network の各層 (Style GAN 2 では、Style Block) に対して、
異なる学習パラメータを介して線形 (アフィン) 変換を施し、スタイルパラメータ
を取得する.
スタイルパラメータ空間を Style Space と呼ぶ.
一部の手法では、中間潜在空間 を利用しており、
異なる中間潜在変数
が、Generator の Synthesis Network の各層 (Style GAN 2 では、Style Block) に対して、
入力される.
中間潜在空間 は 「Style GAN で紹介された Style Mixing」 や
「Style GAN 2 での画像からの逆変換 (Image Inversion) 」などに利用される.
画像からの逆変換
Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?
- [2019]
- arxiv.org
In-Domain GAN Inversion for Real Image Editing
- [2020]
- arxiv.org
DIC
この論文の最初の目標は、これらの潜在変数の潜在空間のどれが、
わかりやすい表現空間であるかを理解すること.
そのために、DIC / (Disentanglement / Completeness / Informativeness) Metrics を導入する.
- A framework for the quantitative evaluation of disentangled representations
参考
- StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation
- Abstract
- 3 Disentanglement of StyleGAN latent spaces
- 4 Detecting locally-active style channels
- 5 Detecting attribute-specific channels
- 6 Disentangled attribute manipulation
- 7 Manipulation of Real Images
- [2020]
- arxiv.org
Web サイト
- 【論文5分まとめ】StyleSpace Analysis
