オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】DenseNet

この記事の読者

深層学習・ディープラーニングの手法の1つである「Residual Network」について知りたい.


キーワード・知ってると理解がしやすい

  • CNN
  • ResNet

yhayato1320.hatenablog.com

yhayato1320.hatenablog.com


Index

DenseNet とは

2016 年に発表された ResNet の改善手法です.

ResNet との違い

ResNet の場合は、ある 1 つの層への入力に対し、ある 1 つの層からの出力を結合(加算)する 1 : 1 の対応でしたが、 DenseNetは、それを n : n の対応にします.

ネットワークアーキテクチャ

DenseNet は以下の 4 つで構成されています.

  • Initial Convolution
  • Dense Block
  • Transition Layer
  • Classification Layer

Dense Block

CNN (Convolution + BN + Active Function(ReLU) ) を n : n のShortcut Connection で連結したものです. (n : n とはいっても後方から前方への接続のみです)

Transition layer

1 x 1 Convolution 演算と2 x 2 Average Pooling 演算を行います. Dense Block の間におきます. Convolution 演算 ではチャンネル数の圧縮を行います.

Growth Rate

Dense Block 内のデータのチャネル数をコントロールするパラメータ. 1 つの Dense Block でどの程度フィルター数を設置するか.

参考

  • Densely Connected Convolutional Networks
    • 発表論文

arxiv.org