オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】Chinchilla

Index

Chinchilla

Chinchilla 700億のパラメーターを持つLLM.

計算コストの削減

言語モデルの「パラメーターのサイズ」と「トレーニングに使用されるデータ量」のバランスを見直して効率化.

幅広い個別評価タスクで、Chinchillaよりも多くのパラメーターを持つGPT-3、Gopher及びMT-NLGの性能を上回った.

参考

  • Training Compute-Optimal Large Language Models

参考