Index
Skip Layer Connection
深層学習における、ネットワークアーキテクチャの改善手法の一つ.
- DeepLearning #まとめ編
実装編
Skip Layer Connection #実装編 #01
- CNN を用いない ResNet の実装
- yhayato1320.hatenablog.com
Skip Layer Connection #実装編 #02
- CNN を用いない DenseNet の実装
- yhayato1320.hatenablog.com
アーキテクチャ
CNN
CNN に Skip Layer Connection を適用.
- CNN Skip Layer Connection #まとめ編
ReZero / 2020
- ReZero is All You Need: Fast Convergence at Large Depth
- [2020]
- arxiv.org
参考
- Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections
- [2021]
- arxiv.org
