Index
Flow
深層学習を用いた生成モデルの一つ.
生成モデル #まとめ編
深層学習 #まとめ編
応用
Continuous Normalizing Flow / CNF / 2017
- Continuous-Time Flows for Efficient Inference and Density Estimation
- [2017]
- arxiv.org
Flow Matching for Generative Modeling / 2022
Flow Matching for Generative Modeling
- [2022]
- arxiv.org
【DL輪読会】Flow Matching for Generative Modeling
Rectified Flow / 2022
2つのデータ分布間を最短距離で結ぶ Rectified Flowという新しい手法を提案.
これは従来の拡散モデルやGANが抱えていた計算コストや不安定さという課題を、単純な線形補間と最小二乗法を用いることで解決するもの.
最大の特徴は Reflow という反復プロセスにより、データの移動経路を直線化し、わずか1ステップの計算で高品質な画像生成やドメイン変換を可能にする点にある.
この手法は常微分方程式 (ODE) に基づいた統一的な枠組みを提供しており、理論的な明快さと推論速度の劇的な向上を両立させている.
実験では、画像生成やスタイル変換において既存のモデルを凌駕する性能が示されている.
- Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow
- [2022]
- arxiv.org
FLUX. 1 / 2024
FLUX.2 / 2025
Black Forest Labsのtext-to-imageモデル.
Rectified Flow Transformer (RFT) + Mistral VLM.
Diffusionを超える高速 flow matching.
- bfl.ai
家庭用GPUを使い良質な画像をわずか1秒で生成する「FLUX.2 [klein]」登場。商用利用可能モデルも（生成AIクローズアップ）
Normalizing Flows / 2019
- Normalizing Flows
Generative Flow Networks / GFlowNet / 2021
- Generative Flow Networks / GFlowNet
Fair Normalizing Flows / FNF
バイアスを減らし、データから機密情報が抽出されないようにする公正な表現学習の重要性を強調.
敵対的学習など既存の手法には限界があり、より強力な対戦相手によって機密特徴が復元される可能性があることを説明.
これに対処するため、Deepmindの研究者は、エンコーダーを正規化フローとしてモデル化するFNFを提案.
FNFは、わずかな精度低下で統計的距離を効果的に低減し、堅牢な公平性を保証する.
Fair Normalizing Flows
Deepmind Researchers Propose Fair Normalizing Flows (FNF): A Rigorous Approach For Learning Fair Representations
PFGM / 2022
- Poisson Flow Generative Models / PFGM
テクニック
Attention
AttnFlow / 2021
生成フローモデルにおいて長距離のデータ依存関係を効率的に学習するための新しい手法 AttnFlow を提案.
従来のフローベースモデルは局所的な相関の学習に留まっていましたが、著者らは可逆性を維持したままアテンション機構を統合することに成功.
具体的には、空間・チャネルを横断するチェッカーボード・マスキング手法を用いることで、ヤコビ行列の行列式を計算可能にし、モデルの可逆性を担保.
導入された手法には、位置の重要度を学習するマップ型 (iMap) と、遠距離間の相互作用を捉えるトランスフォーマー型 (iTrans) の2種類がある.
複数の画像生成や超解像タスクにおける評価の結果、提案モデルはパラメータ数を大幅に削減しつつ、従来手法を凌駕する高い性能と表現力を示した.
- Generative Flows with Invertible Attentions
- [2021]
- arxiv.org
Generative Flows with Invertible Attentions
— AK (@_akhaliq) June 9, 2021
pdf: https://t.co/wO2gNLgRpA
abs: https://t.co/rVJd8o9xJF
two invertible attention modules for both the unconditional and conditional generative flow models pic.twitter.com/W8NPuswAW4
タスク
Fast Flow
- Fast Flow
- Flow を利用した異常検知
- yhayato1320.hatenablog.com
参考
Flow-based Deep Generative Models
- Lilian Weng のブログ
- 2018-10
- lilianweng.github.io
深層生成モデルを巡る旅(1): Flowベース生成モデル
[DL輪読会]Flow-based Deep Generative Models
- 推論 : データ空間から潜在空間への「変換」・「写像」・「確率分布からの出力の特定」のこと
- 生成モデルの導入から
- www.slideshare.net
FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models
- [2018]
- フローベースの生成モデルをReversible Generative Model としている
- 可逆な生成モデル : Partitioned Transformations / 自己回帰フロー : Autoregressive Transformations / フローによる変分推定 : Normalizing Flows の 3 の種類に分類
- arxiv.org
Normalizing Flows Tutorial, Part 1: Distributions and Determinants
- Eric Jang のブログ
- blog.evjang.com
NICE: Non-linear Independent Components Estimation
- [2014]
- 加法カップリング / Additive Coupling
- arxiv.org
Density estimation using Real NVP
- [2016]
- Real NVP / Real-Valued Non-Volume Preserving について
- arxiv.org
Glow: Generative Flow with Invertible 1x1 Convolutions
- [2018]
- arxiv.org
VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation
- [2019]
- arxiv.org
MADE: Masked Autoencoder for Distribution Estimation
- [2015]
- arxiv.org
Masked Autoregressive Flow for Density Estimation
- [2017]
- MAF
- arxiv.org
Improving Variational Inference with Inverse Autoregressive Flow
- [2016]
- IAF
- arxiv.org
Parallel WaveNet: Fast High-Fidelity Speech Synthesis
- [2017]
- arxiv.org
Neural Autoregressive Flows
- [2018]
- arxiv.org
