オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】Scaling Law / スケーリング則

Index

Scaling Law / スケーリング則

深層学習の学習済みモデルの精度についての研究.

性能は、「訓練ステップ数」、「データセットサイズ」、「パラメータ数」の 3 変数の冪乗に比例するという経験則.

参考

  • Beyond neural scaling laws: beating power law scaling via data pruning

  • Revisiting Neural Scaling Laws in Language and Vision

  • Scaling Laws from the Data Manifold Dimension

    • [2022]
    • スケーリング則は、多様体仮説を仮定すれば説明できる
    • jmlr.org

  • Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?

Webサイト