- GAN まとめ編
Index
Big GAN
深層学習を用いた生成アルゴリズム GAN の応用手法.
画像生成の精度に対する改善手法.
GAN のネットワークを大規模に拡大したときに、発生する問題に対応することで、高精度に画像を生成する.
基本方針
Self Attention GAN / SA GAN をベースに、ネットワークアーキテクチャを拡張していく.
- Self Attention GAN / SA GAN
Loss
Hinge Loss を利用する.
Geometric GAN
- [2017]
- arxiv.org
Hierarchical Implicit Models and Likelihood-Free Variational Inference
- [2017]
- arxiv.org
Class Information
クラス情報をGenerator / Discriminator に提供する.
Generator には、クラス条件付き Batch Norm を利用して提供する.
A Learned Representation For Artistic Style
- [2016]
- arxiv.org
Modulating early visual processing by language
- [2017]
- arxiv.org
Discriminator には、C GAN で利用される、Projection Discriminator の形式で提供する.
- cGANs with Projection Discriminator
- [2018]
- arxiv.org
Optimization Setting
学習の最適化については、Self Attention GAN / SA GAN と同様に、Spectral Norm を導入.
- Self Attention GAN / SA GAN
重みの初期化
Orthogonal Initialization / 直交初期化を利用.
- Exact solutions to the nonlinear dynamics of learning in deep linear neural networks.
- [2013]
- arxiv.org
Scale Up
Scaling
- Batch Size の Scaling : 8 倍
- ネットワークアーキテクチャの幅 (Channel) の Scaling : 1.5 倍
Class Embedding / Share Embedding
Generator には、クラス条件付き Batch Norm を利用して、Class Information を Embedding している.
各 Class の Embedding では、異なるパラメータを利用するのではなく、同じパラメータを利用して Embedding する.
(Share Embedding)
これにより計算メモリが削減できる.
Hierarchical Latent Space
ノイズベクトル からのスキップ接続を、最初にレイヤーだけでなく、Generator の複数のレイヤーに追加する.
ノイズベクトルと CNN の出力を、どのように結合するのかを考えなければなるまい.
Truncation Trick
GAN のような、潜在変数を逆伝播する必要のないモデルでは、任意の事前分布 を使用できる.
従来の手法では、事前分布に標準正規分布 / ガウス分布 が利用されることが多い.
学習時とは、異なる事前分布 (Truncated Normal) を利用することで、IS と FID のスコアが上昇した.
Truncated Normal (切断正規分布) という
範囲外の値が、その範囲内に入るように、再サンプリングされる分布を利用した.
この手法を、Truncation Trick と呼ぶ.
参考
- Large Scale GAN Training for High Fidelity Natural Image Synthesis
Web サイト
【論文簡易紹介】LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS
Progressive/Big/StyleGANsの概要とGANsの性能評価尺度
Self-Attention GAN / Big GAN
- SA GAN について
- qiita.com
