この記事の読者
深層学習・ディープラーニングの手法の１つである「Residual Network」について知りたい.
Index
DenseNet とは
2016 年に発表された ResNet の改善手法.
- ResNet
ResNet との違い
ResNet の場合は、ある 1 つの層への入力に対し、ある 1 つの層からの出力を結合(加算)する 1 : 1 の対応だったが、
DenseNetは、それを n : n の対応にする.
ネットワークアーキテクチャ
DenseNet は以下の 4 つで構成されています.
- Initial Convolution
- Dense Block
- Transition Layer
- Classification Layer
Dense Block
CNN (Convolution + BN + Active Function(ReLU) ) を n : n の Shortcut (Skip Layer) Connection で連結した.
n : n とはいっても後方から前方への接続のみ
CNN
Skip Layer Connection #まとめ編
Transition Layer
1 x 1 Convolution 演算と 2 x 2 Average Pooling 演算を行う.
Transition Layer は、Dense Block の間におく.
Convolution 演算 ではチャンネル数の圧縮を行う.
Growth Rate
Dense Block 内のデータのチャネル数をコントロールするパラメータ.
1 つの Dense Block でどの程度フィルター数を設置するか.
実装編
- DenseNet #実装編
- CNN を用いない DenseNet の実装
- yhayato1320.hatenablog.com
参考
- Densely Connected Convolutional Networks
- [2016]
- arxiv.org
