オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】Dropout

Index

Dropout とは

過学習を抑制するために、利用される正則化の手法のひとつ.

深層学習において、導入される手法.

Dropout は、ニューロンをランダムに消去(Dropout)しながら学習する手法.

訓練時に、隠れ層のニューロンをランダムに選び出し、その選び出したニューロンを消去する.

消去されたニューロンは、信号の伝達が行われなくなる.

なお、訓練時には、ランダムにニューロンを消去するが、 テスト時には、すべてのニューロン信号を伝達する.

応用

SMoE Dropout / 2023

Transformer の改善.

  • Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers

Early Dropout / Late Dropout

過学習の低減に使われるドロップアウトだが,本研究では学習初期で未学習も低減させていることを示した.

また,学習初期のみにドロップアウトするearly dropout と,学習後期のみの late dropoutを提案した.



参考

  • Dropout: A simple way to prevent neural networks from overfitting

書籍