【深層学習】GPT-3

• GPT-3 #まとめ編
  • yhayato1320.hatenablog.com

Index

GPT-3 とは

ネットワークアーキテクチャをスケールアップし、
事前学習するコーパスを大きくすることで、
ファインチューニングを行わずに(Zero-Shot)、
もしくは少量の学習データでのファインチューニング(Few-Shot)するだけで
複数のタスク(Multi Task)にて、精度を向上させる

基本的な方針は、このように GPT-2 と同様. yhayato1320.hatenablog.com

参考

• Language Models are Few-Shot Learners
  • [2020 OpenAI] 発表論文
  • Abstract
  • arxiv.org

書籍

• BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門
  • 5 GPT-3・Vision Transformer・CLIP・Image GPT・DALL-E
    • 5.1 GPT-3 によるプロンプトプログラミング

  • BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門

Web サイト

• 【論文解説】OpenAI 「GPT-3」を理解する
  • data-analytics.fun