【深層学習】Open Pre-trained Transformer

Index

Open Pre-trained Transformer

2022年5月に Meta が GPT-3 に匹敵する 1,750 億のパラメーターを持つ OPT-175B (Open Pretrained Transformer 175B) を公開した.

OPT-175B は、人間の指示に従って文章を作成したり、数学の問題を解いたり、会話したりすることができる.

応用

OPT-IML / 2022

• OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization
  • [2022]
  • arxiv.org
  • github.com

参考

• OPT: Open Pre-trained Transformer Language Models
  • [2022]
  • arxiv.org

Web サイト

• Democratizing access to large-scale language models with OPT-175B
  • ai.facebook.com