この記事の読者
深層学習・ディープラーニングの手法の１つである「MobileNet V3」について知りたい.
キーワード・知ってると理解がしやすい
- CNN
- MobileNet V2
- NAS (Neural Architecture Search)
- MnasNet
Index
MobileNet V3 とは
2019 年に Google から発表された MobileNet V2 の改善手法.
Squeeze-and-Excite
MobileNet V2 で提案された、Inverted Residuals and Linear Bottlenecks の工夫に、 MnasNet で提案された、Squeeze-and-Excite を合わせたネットワークアーキテクチャ.
Network Search
ネットワークアーキテクチャの最適化を行う.
platform-aware NAS を利用してグローバルネットワーク構造を最適化.
次に、NetAdapt で、フィルターの数をレイヤーごとに最適化
Network Improvements
Network Search に加え、ネットワーク自体の工夫も加える.
最適化されてたネットワークの最初と最後に工夫を加える
Redesigning Expensive Layers
最適化したネットワークの中でも、 計算が多い部分（ネットワークの上流部分と下流部分）をさらに軽量化する.
ネットワークの下流部分
CNN 層の削減や、フィルターサイズの縮小を行い、軽量化する.
ネットワークの上流部分
活性化関数を変更し、 フィルター数を減らしても変更前の精度と同等の精度を実現.
h-swish
所々にある活性化関数を ReLU から、提案手法の h-swich に変更
上のような非線形化は、精度向上が見込めるが、シグモイド関数は比較的計算コストが高いので、改善.
参考
- Searching for MobileNetV3
- 発表論文
- 3 Efficient Mobile Building Blocks
- 4 Network Search
- 5 Network Improvements
- 5.1 Redesigning Expensive Layers
- 5.2 Nonlinearities
- arxiv.org
Web サイト
非常に参考になりました.
感謝します.
