【深層学習】Prompt Tuning

• LLM
  • yhayato1320.hatenablog.com

Index

Prompt Tuning

• Guiding Frozen Language Models with Learned Soft Prompts
  • ai.googleblog.com

Instruction Prompt Tuning / 2022

• Large Language Models Encode Clinical Knowledge
  • [2022]
  • arxiv.org

EvoPrompting / 2023

• EvoPrompting: Language Models for Code-Level Neural Architecture Search
  • [2023]
  • arxiv.org

Multitask Prompt Tuning / MPT / 2023

• Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning
  • [2023]
  • arxiv.org

実装

• github.com
  • LMOps

研究

• How Does In-Context Learning Help Prompt Tuning?
  • [2023]
  • arxiv.org

参考

• The Power of Scale for Parameter-Efficient Prompt Tuning
  • [2021]
  • arxiv.org

Post

【prompt-tuning: 効率的・高性能なタスク適合】
パラメーター付けされたprompt（タスクの説明）を入力の先頭に挿入し，これを最適化するprompt-tuningを提案。モデル更新よりも効率的でありながら，異なるドメインのQAデータでのzero-shot性能でfine-tuningを上回る。https://t.co/IZDT8YvW06 pic.twitter.com/2bZAGEhYsS

— ELYZA, Inc. (@ELYZA_inc) June 10, 2021