- GAN まとめ編
Index
Progressive Growing GAN / PG GAN
深層学習を用いた生成アルゴリズム GAN の応用手法.
画像の生成における高解像度に対する改善手法.
この手法のアイディアの根幹は、Generator と Discrminator のネットワークアーキテクチャの規模を
段階的に拡張・成長 (Progressive Growing)させていくこと.
つまり、低解像度の画像の生成 / 識別から始めて、学習が進んでいくにつれて、
細かい部分に注力できるようになったら、層を増やしていく.
1024 x 1024 のサイズの画像を高精度で生成することに成功.
改善点
主なアイディア・改善点は、徐々にネットワークアーキテクチャを拡張させながら学習する 仕組みである Progressive Growing であるが、その他に学習を安定させる仕組みを導入している.
Progressive Growing
GAN の学習方法の改善手法.
最初は、低解像度の画像の生成と識別を学習する.
そして、学習を進めていく過程で、ネットワークアーキテクチャを拡大することで、
生成・識別する画像の解像度を徐々に上げていく.
このような学習方法を導入することによって、
低解像度の画像の学習で、おおまかな構造を学び、
より高解像度の画像の学習になるにつれて、細かい部分を学ぶことが、段階的に可能になる.
Generator と Discriminator のネットワークアーキテクチャは、鏡のように対称になっている.
層の追加
各 CNN Layer は、どの学習プロセスにおいても、学習するような設計になっている.
では、どのようにして、学習している途中のネットワークアーキテクチャに、
影響を最小限にして、スムーズに、CNN Layer を追加するのか.
の解像度の画像の学習から (a) 2 枚の の解像度の画像の学習 (c) へ移行する場合を考える.
(a) では、Generator からの出力である の特徴マップを toRGB
で、 のような画像形式に変換している.
さらに、Discriminator への入力として、画像形式のデータを fromRGB
で、 へ変換し、後続の CNN Layer に繋げている.
(a) のようなアーキテクチャから (c) のようなアーキテクチャにいきなり変更せず、
(b) のようなアーキテクチャで学習する期間を設ける.
から の特徴マップを取得したいのだから、
そのようなに出力する CNN Layer (32 x 32
) を導入する.
そして、画像形式で取得するために、toRGB
で、画像形式に変換し、Generator の出力とするが、
その前に、新たに追加されて層に入力される前の情報を、付け加える.
また、 は、加重平均のパラメータである. (0 ~ 1)
サイズ調整のために、最近傍補間法 で、2 倍にしている. (2x
)
Discriminator も同様に、今まで学習していた層 (16 x 16
) への入力として、
新しく追加した層 (32 x 32
) からの出力の情報だけでなく、
今まで、入力していた画像形式からの直接的な情報も含めている.
また、 は、同様に、加重平均のパラメータである. (0 ~ 1)
サイズ調整のために、Average Pooling で、0.5 倍にしている. (0.5x
)
- Average Pooling
Minibatch Standard Deviation
Minibatch 内の多様性を学習の仕組みに導入.
そのため、バッチの多様性を利用する.
バッチの多様性を計算し、その情報を Discrimnator に渡し、識別のヒントにする.
バッチ内の多様性の計算
バッチ内の各画像のピクセル単位で、標準偏差を計算.(どれだけ、多様性があるか)
各ピクセルのぼらつき具合の平均を計算する.
Discriminator にその情報を伝えるために、伝達可能な形式 (Discriminator の最後の特徴マップと同様の形式) に加工する.
Pixelwise Normalization
学習の安定を目的として、Generator の出力である生成画像に、ピクセル単位の正規化を導入する.
参考
- Progressive Growing of GANs for Improved Quality, Stability, and Variation
- [2017]
- Abstract
- 2 PROGRESSIVE GROWING OF GANS
- 3 INCREASING VARIATION USING MINIBATCH STANDARD DEVIATION
- 4 NORMALIZATION IN GENERATOR AND DISCRIMINATOR
- 4.2 PIXELWISE FEATURE VECTOR NORMALIZATION IN GENERATOR
- arxiv.org
Web サイト
PGGAN:段階的に解像度を上げて学習を進めるGAN
PGGAN「優しさあふれるカリキュラム学習」
Progressive Growing of GANs①(Abstract&Introduction)|Style Transferの研究を俯瞰する #7
- Liberal Art's さん
- lib-arts.hatenablog.com
Progressive Growing of GANs②(PROGRESSIVE GROWING OF GANS以降)|Style Transferの研究を俯瞰する #8
- Liberal Art's さん
- lib-arts.hatenablog.com