【深層学習】Diffusion-LM

Index

Diffusion-LM

画像生成で利用される Diffusion Model を文章生成に応用.

• Diffusion Model #まとめ編

  • yhayato1320.hatenablog.com
    
    

• 文章生成

  • yhayato1320.hatenablog.com
    
    

Fine-Tuning せずに、Pre-Training された言語モデル (Language Model / LM) をそのまま利用する.

• Fine-Tuning / Pre-Training
  • yhayato1320.hatenablog.com

Plug and Play

Pre-Training された言語モデル (Language Model / LM) のパラメータを固定した上で (学習せずに)、 生成する条件を満たすかどうかの判定を行う分類器を別で作成し、その分類器の結果を使って 生成プロセスを操作する手法.

この手法を Diffusion Model に応用する.

参考

• Diffusion-LM Improves Controllable Text Generation
  • [2022]
  • arxiv.org

Web サイト

• NeurIPS 2022 参加報告 前編

  • blog.recruit.co.jp
    
    

• Stanford AI Researchers Open-Source Diffusion-LM: A Novel And Controllable Language Model Based on Continuous Diffusions, Which Enables New Forms of Complex Fine-Grained Control Tasks

  • www.marktechpost.com