Index
Layer Normalization
DNN (Deep Neural Networks) で、計算コストを短縮する方法として、正規化 / Normalization がある.
Batch Normalization では、正規化するバッチを構成するデータの組み合わせに依存してしまう.
Layer Normalization では、ある層に入力される全ての入力から平均と分散を計算することで、
バッチに依存せずに正則化ができる.
利用しているアーキテクチャ
参考
- Layer Normalization
- [2016] 発表論文
- Abstract
- arxiv.org
