オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】生成モデル / Generative Model #まとめ編

【深層学習】生成モデル / Generative Model #まとめ編

データサイエンス データサイエンス-深層学習

Index

生成モデル

真のデータ分布 P_{data}(x) に近似した生成モデル / モデル分布 P_{\theta}(x) を求めたい.



主に、深層学習を用いた手法についてまとめる.

Generative Adversarial Network / GAN

Generator と Discriminator 2 つのネットワークを利用するモデル.

潜在変数を利用するモデル.



Variational Auto Encoder / VAE

Flow Base Model

Diffusion Model

Growing NCA

Consistency Model

アルゴリズム

Riemannian Flow Matching / RFM / 2023

リーマン多様体上の連続正規化フローに基づく生成モデルを学習する.

拡散過程は簡単な多様体では測地線の距離、一般にはスペクトル距離で定義され、後は通常のフローマッチング同様に学習する.

  • Riemannian Flow Matching on General Geometries

Reduce, Reuse, Recycle / 2023

複数のスコアを組み合わせ、確率分布を合成（積、和、否定）する場合、 撹乱後合成分布のスコアは、元の撹乱後分布のスコアで表せず、拡散モデルで直接生成できない.

スコアでなくエネルギーでモデル化し、それを使った焼きなましMCMCで合成後分布から生成できる.



  • Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC

様々なモデルの分類方法

潜在変数モデル

潜在変数 z を入力として用意し、 p_{\theta}(x|z) (生成器 / Generator) をモデル化する.

  • GAN
  • VAE
  • Flow

自己回帰モデル

p(x) を直接モデル化する.

エネルギーベースモデル

尤度ベースモデル vs 暗黙的生成モデル

  • 尤度ベースモデル

  • 暗黙的生成モデル

  • 尤度ベースモデル

    • メリット
      • 対数尤度を目的関数とした安定した最適化問題を使った学習ができる
      • 学習がどの程度進んでいるかを訓練データや評価データの尤度を使って評価することできる
    • デメリット
      • 尤度や勾配を計算するためには、分配関数 (正規化項) を扱う必要がある
      • この正則化項やその勾配の計算が (計算量的に) 困難

  • 暗黙的生成モデル

    • メリット
      • 分配関数を明示的に扱う必要がなく、高い表現力をもったモデルを生成に使うことができる
    • デメリット
      • 生成モデルと識別モデル間で競合しながら学習する必要があり、学習が不安定になる
      • 学習がどの程度進んでいるのかを示す指標がなく、生成したデータを人が目で確認して進捗を確認する必要がある

スコアベースモデル / SBM

モデルの比較と分類

潜在変数への変換

深層生成モデルの分類例

タスク

Vision Language

画像生成

参考

  • Self-supervised Learning: Generative or Contrastive

    • [2020]
    • 3 Generative Self-supervised Learning
      • 3.1 Auto-regressive (AR) Model
      • 3.2 Flow-based Model
      • 3.3 Auto-encoding (AE) Model
        • 3.3.4 Variational AE Model
    • 4 Contrastive Self-supervised Learning
    • 5 Generative-Contrastive (Adversarial) Self-supervised Learning
    • 6 Theory behind Self-supervised Learning
      • 6.1 GAN
    • arxiv.org

  • Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models

  • Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning

  • ChatGPT is not all you need. A State of the Art Review of large Generative AI models

  • Regulating ChatGPT and other Large Generative AI Models

  • A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT

書籍

Web サイト

動画

  • Generative Adversarial Networks (GANs) and Stable Diffusion