GAN まとめ編
- yhayato1320.hatenablog.com

Index

Index
Wasserstein GAN / W GAN
損失関数
- 従来の GAN の目的関数
- Wasserstein Loss
Lipschitz 制約
Weight Clipping
参考
- 書籍
- Web サイト

Wasserstein GAN / W GAN

深層学習を用いた生成アルゴリズム GAN の応用手法.

GAN
- yhayato1320.hatenablog.com

学習の安定のための工夫.

真のデータ分布の推定の話

Introduction の話.

内容が脇道にそれるので、別記事に.

Wasserstein GAN / W GAN #アルゴリズム編 #01
- yhayato1320.hatenablog.com

分布間の類似度

分布間の類似度を測定する手法を紹介.

Total Variation (TV) Distance
Kullback Leibler (KL) Divergence
Jensen Shannon (JS) Divergence
Earth Mover Distance / Wasserstein-1

この論文の意義

Generator の学習の収束と生成画像の品質に相関する意味のある損失関数の設定
改善された最適化プロセスによる学習の安定性

損失関数

従来の GAN の目的関数

従来の GAN は目的関数 $V$ を Generator と Discriminator がそれぞれ最適化 (最小化 / 最大化) しようとしていた.

目的関数

$\begin{align} V(D, G)\ =&\ E_{\ x \sim p_{data}(x)}\ [\ \log(D(x))\ ] \\ +&\ E_{\ z\ \sim\ p_{z}(z)}\ [\ \log(\ 1 - D(\ G(z)\ )\ )\ ] \end{align}$

$\displaystyle \min_{G} \max_{D} V(D, G)$

Binary Cross Entropy Loss

これは、Binary Cross Entropy Loss として考えれる.

$L\ =\ - \displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n} \left(\ y_{i}\ \log(p_{i})\ +\ (1 - y_{i})\ \log(1 - p_{i})\ \right)$

$n$ : 本物のデータのバッチサンプルと偽物の生成したデータの総数
$y_{i}$ : Index $i$ のデータの本物 / 偽物ラベル

本物 : $y_{i}\ =\ 1$
偽物 : $y_{i}\ =\ 0$

$p_{i}$ : Index $i$ のデータを入力したときの Discriminator の予測確率

Binary Cross Entropy Loss
- yhayato1320.hatenablog.com

入力のデータが、「本物の場合」と「偽物の場合」の 2 つ場合で分けられる.

$l\ =\ y_{i}\ \log(p_{i})\ +\ (1 - y_{i})\ \log(1 - p_{i}) \\ \ \ = \left\{ \begin{array}{ll} \log(p_{i}) & y_{i}=1 \\ \log(1 - p_{i}) & y_{i} = 0 \end{array} \right.$

Discriminator の損失の最小化

$\displaystyle \min_{D}\ -\ \left(\ E_{\ x \sim p_{data}(x)}\ [\ \log(D(x))\ ] + \ E_{\ z\ \sim\ p_{z}(z)}\ [\ \log(\ 1 - D(\ G(z)\ )\ )\ ]\ \right)$

Generator の損失の最小化

$\displaystyle \min_{G}\ -\ \left(\ E_{\ z\ \sim\ p_{z}(z)}\ [\ \log(\ D(\ G(z)\ )\ )\ ]\ \right)$

Wasserstein Loss

$\displaystyle \min_{D}\ -\ \left(\ E_{\ x \sim p_{data}(x)}\ [\ D(x)\ ] - \ E_{\ z\ \sim\ p_{z}(z)}\ [\ D(\ G(z)\ )\ ]\ \right) \\ \displaystyle \min_{G}\ -\ \left(\ E_{\ z\ \sim\ p_{z}(z)}\ [\ D(\ G(z)\ )\ ]\ \right)$