オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】Prompting

Index

Prompting

LLM における入力に対する工夫.

Prompt Turning



コンテキスト内学習 / In Context Learning

推論時に与えるプロンプト (テキスト) を入力として、タスクを学習する.

Batch Prompting / 2023

  • Batch Prompting: Efficient Inference with Large Language Model APIs

Hard Prompts Made Easy / 2023

  • Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery

Directional Stimulus Prompting / DSP / 2023

LANGUAGE MODEL CROSSOVER / LMX / 2023

  • Language Model Crossover: Variation through Few-Shot Prompting

Active Prompting / 2023

MSP / 2023



  • Mixture of Soft Prompts for Controllable Data Generation

Progressive-Hint Prompting / 2023

promptingの手法として"Progressive-Hint Prompting"を提案.

LLMが生成した答えを「ヒント」として与えた上で繰り返し同じ問題を与えて、 生成した答えがヒントと一致した場合に最終的な出力結果として扱う.



参考

  • ChatGPT Prompt Engineering, “Let’s Think Step by Step”, and other Magic Phrases.

  • Prompt Engineering Guide

  • Prompt Engineering Guide

  • Learn Prompting

  • Semantic Kernel

  • Prompt Engineering 勉強会 / 2023.03.21 GPT-4 Prompt 報告会

  • 【GPT】プロンプトエンジニアリング手法まとめ

  • ChatGPT Prompt Engineering for Developers

  • プロンプトエンジニアリングの無料コースを受講したのでチャットボットをサクッと作ってみた