Index Index Dropout とは 応用 SMoE Dropout / 2023 Early Dropout / Late Dropout 参考 書籍 Dropout とは 過学習を抑制するために、利用される正則化の手法のひとつ. 正則化 / Regularization #まとめ編 yhayato1320.hatenablog.com 深層学習において、導…

深層学習 #まとめ編 yhayato1320.hatenablog.com Index Index 最適化 / Optimization とは 勾配 勾配法 アルゴリズム 確率的勾配降下法 / Stochastic Gradient Descent / SGD SGLD / 2011 Momentum ネフテロフの加速勾配法 / Nesterov's Accelerated Gradien…

yhayato1320.hatenablog.com Index Index Adam / Adaptive Moment Estimation とは 指数移動平均 不偏推定量 更新アルゴリズム 参考 書籍 Web サイト Adam / Adaptive Moment Estimation とは Momentum と AdaGrad (RMSProp) を合わせた手法. Momentum は学…