Index
Chinchilla
Chinchilla 700億のパラメーターを持つLLM.
- Transformer #まとめ編
計算コストの削減
言語モデルの「パラメーターのサイズ」と「トレーニングに使用されるデータ量」のバランスを見直して効率化.
幅広い個別評価タスクで、Chinchillaよりも多くのパラメーターを持つGPT-3、Gopher及びMT-NLGの性能を上回った.
参考
- Training Compute-Optimal Large Language Models
- [2022]
- arxiv.org
参考
- NeurIPS 2022 参加報告 後編
- 大規模言語モデル
- 計算コストの削減
- blog.recruit.co.jp
- 大規模言語モデル