Index
Scaling Law / スケーリング則
深層学習の学習済みモデルの精度についての研究.
- 深層学習 #まとめ編
性能は、「訓練ステップ数」、「データセットサイズ」、「パラメータ数」の 3 変数の冪乗に比例するという経験則.
参考
Beyond neural scaling laws: beating power law scaling via data pruning
- [2022]
- v5
- arxiv.org
Revisiting Neural Scaling Laws in Language and Vision
- [2022]
- arxiv.org
Scaling Laws from the Data Manifold Dimension
Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?
- [2022]
- arxiv.org