【深層学習】コンテキスト内学習 / In Context Learning / ICL

Index

コンテキスト内学習 / In Context Learning

推論時に与えるプロンプト (テキスト) を入力として、タスクを学習する.

プロンプト

例えば、「りんごが12 個あります。2 個を食べ、4 個をアップルパイに使いました。 残りは何個あるでしょうか？」のようなテキストを入力として、タスクを解く.

改善手法

Chain-of-Thought / CoT / 2022

コンテキスト内学習 / In Context Learning の課題として、上のプロンプトのような 2 つ以上の思考ステップを踏むような問題は難しい.

「プロンプトに入れる具体的な回答部分に思考過程を含める」ことで改善.

• Chain-of-Thought
  • yhayato1320.hatenablog.com

Zero-shot-CoT / 2022

回答の文章を「Let's think step by step.」という一文で始めることで、 LLM が思考過程を含めた出力をするようになり、精度が向上する.

• Large Language Models are Zero-Shot Reasoners

  • [2022]
  • arxiv.org
    
    

• 論文まとめ：Large Language Models are Zero-Shot Reasoners

  • blog.shikoan.com

semantically-unrelated label ICL / SUL-ICL / 2023

• Larger language models do in-context learning differently
  • [2023]
  • arxiv.org

研究

• Larger language models do in-context learning differently
  • [2023]
  • arxiv.org
    
    

• A Theory of Emergent In-Context Learning as Implicit Structure Induction
• [2023]
大規模言語モデルが本文中学習 (In-context leanring) を学習で獲得したり、 Chain-of-Thought で性能が上がる現象は、 言語のように学習対象が構成性を持つ場合、条件部（=プロンプト）の後続（=回答）の 予測誤差は条件部を生成する構造の複雑さで抑えられることから説明できる
• arxiv.org

参考

• What Can Transformers Learn In-Context? A Case Study of Simple Function Classes
  • [2022]
  • arxiv.org

Web サイト

• NeurIPS 2022 参加報告 後編
  • blog.recruit.co.jp