Index
Dropout とは
- 正則化 / Regularization #まとめ編
深層学習において、導入される手法.
- 深層学習 #まとめ編
Dropout は、ニューロンをランダムに消去(Dropout)しながら学習する手法.
訓練時に、隠れ層のニューロンをランダムに選び出し、その選び出したニューロンを消去する.
消去されたニューロンは、信号の伝達が行われなくなる.
なお、訓練時には、ランダムにニューロンを消去するが、 テスト時には、すべてのニューロン信号を伝達する.
応用
SMoE Dropout / 2023
Transformer の改善.
- Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers
- [2023]
- arxiv.org
- github.com
Early Dropout / Late Dropout
過学習の低減に使われるドロップアウトだが,本研究では学習初期で未学習も低減させていることを示した.
また,学習初期のみにドロップアウトするearly dropout と,学習後期のみの late dropoutを提案した.
また,学習初期のみにドロップアウトするearly dropout と,学習後期のみの late dropoutを提案した.
Dropout Reduces Underfitting
- [2023]
- arxiv.org
- github.com
【DL輪読会】Dropout Reduces Underfitting
参考
- Dropout: A simple way to prevent neural networks from overfitting
- [2014]
- jmlr.org
書籍
- ゼロから作るDeepLearning
- 6 学習に関するテクニック
- 6.4 正則化
- 6.4.3 Dropout
- 6.4 正則化
- 6 学習に関するテクニック