オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】Variational Auto Encoder / VAE #アルゴリズム編

Index

Variational Auto Encoder / VAE

データの分布を推定するのに、変分ベイス / Variational Bayes / VBを Auto Encoder / AE に組み込んだアルゴリズム .

Auto Encoder Variational Bayes / AEVB というアルゴリズムで紹介された.

Auto Encoder

Auto Encoder では、高次元のデータ空間から低次元の空間へ写像し、 その後、低次元の空間から高次元での空間へ写像する.



通常 Auto Encoder には、分布に制約は、設けていない.

データの分布

低次元の空間 (潜在空間と呼ぶとする) での分布が理解できれば、 それはデータの分布の理解に一歩近づく.

そこで、分布の推定の手法の一つである変分ベイズを導入して、 分布を推定する.

変分推定

Encoder

潜在空間のどこの写像するかを、標準正規分布を利用して、写像する.

つまり、入力されたデータを平均と分散の値に変換する.

損失

参考

  • Auto-Encoding Variational Bayes
    • [2013]
    • 1 Introduction
    • 2 Method
      • 2.1 Problem scenario
      • 2.2 The variational bound
      • 2.3 The SGVB estimator and AEVB algorithm
      • 2.4 The reparameterization trick
    • 3 Example: Variational Auto-Encoder
    • arxiv.org

書籍