【深層学習】Grokking

Index

Grokking

深層学習における解明中の現象のひとつに Grokking (「腑に落ちる」) がある.

• 深層学習 #まとめ編
  • yhayato1320.hatenablog.com
    
    

過学習して、しばらく経ってから、急に汎化誤差が降り始める現象.

参考

• Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets

  • [2022]
  • arxiv.org
    
    

• Towards Understanding Grokking: An Effective Theory of Representation Learning

  • [2022]
  • arxiv.org

Webサイト

• NeurIPS 2022 参加報告 後編
  • blog.recruit.co.jp