yhayato1320.hatenablog.com Index Index RMSProp / Root Mean Square Prop AdaGrad / Adaptive Gradient の課題 改善点 更新アルゴリズム 参考 RMSProp / Root Mean Square Prop AdaGrad / Adaptive Gradient の課題 AdaGrad / Adaptive Gradient は、 変数…

yhayato1320.hatenablog.com Index Index AdaGrad / Adaptive Subgradient Descent 学習率の減衰(Learning Rate Decay) 個別の学習率 更新アルゴリズム 個別の学習率 学習率の減衰(Learning Rate Decay) まとめ 参考 AdaGrad / Adaptive Subgradient Descent…

yhayato1320.hatenablog.com Index Index モーメンタム / Momentum 更新アルゴリズム 物理学からの観点 参考 モーメンタム / Momentum モーメンタム / Momentum は勾配法の(パラメータ空間内での)振動(=無駄な動き)を抑制し、極小値への収束性を改善する. モ…