機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 近似法 / 近似推論法 決定論的近似 / 決定的 変分近似法 変分推論法 / Variational Inference・変分ベイズ法 / Variational Bayes EP 法 / Expectation Propagation サンプリング法 / 確率的 モ…

機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 情報量 エントロピー / Entropy 相互情報量 交差エントロピー / Cross Entropy KL Divergence / 相対エントロピー JS Divergence 参考 書籍 Web サイト 情報量 エントロピー / Entropy 離散確率…

生成モデル yhayato1320.hatenablog.com Index Index スコア スコア導入のメリット 近似法 ランジュバン・モンテカルロ法 スコアベースモデル / Score Base Model / SBM スコアマッチング 明示的スコアマッチング / Explicit Score Matching / ESM 暗黙的ス…

生成モデル yhayato1320.hatenablog.com Index Index エネルギーベースモデル / Energy Based Model / EBM エネルギー関数 分配関数 メリット / デメリット メリット デメリット 学習方法 MCMC 法 スコアベースモデル 応用 Restricted Boltzmann Machine / R…

Transformer #まとめ編 yhayato1320.hatenablog.com Index Index Scaling Transformer Recurrent Memory 参考 Scaling Transformer GPT系は最大3万トークン入力で, 本手法は200万トークンが可能. Recurrent Memory 参考 Scaling Transformer to 1M tokens an…