この記事の読者
キーワード・知ってると理解がしやすい
- NAS (Neural Architecture Search)
- MnasNe
- (MobileNet V3)
- ResNet
Index
EfficientNet とは
ICML にて2019年5月に Google から発表されたモデル. モデルの大きさのスケールアップを理論的、効率的に行った手法.
- ResNet
- Gpipe
モデルのスケールアップ
ネットワークアーキテクチャをスケールアップすることは、精度の向上を図るための考えの一つ. スケールアップの方向性としては、以下の3つがある.
- wider / より広く
- deeper / より深く
- higher resolution / より厚く
を段階的に上げていく. (モデルのスケールを大きくしていく.)
そのとき、ネットワークアーキテクチャを構成する「幅」、「深さ」、「解像度」の大きさを以下のように計算的に決定する(大きくしていく).
はグリットサーチのような方法で、ハイパーパラメータ探索して精度が良い組み合わせを探索する.
ベースのネットワークアーキテクチャをMobileNet 等と ResNet 等で作成.
さらに、そのアーキテクチャをNAS (Neural Architecture Search) により効率的(最小のアーキテクチャの増強で、最大の精度を出す)なアーキテクチャに調整.
さらに、今回のスケールアップの手法で、ネットワークアーキテクチャを大きくする.
Compound Model Scaling / 複合モデルスケーリング
モデルを効率良く大きくするための最適化問題として定式化する.
最大化するのは、Accuracy.
制限は、Memory(パラメータ数) と Flops(計算回数)
ベースネットワークアーキテクチャ
幅、深さ、解像度のスケールを大きくする前のベースネットワークアーキテクチャ(EfficientNet-B0).
ネットワークアーキテクチャ
MobileNet と ResNet によって、基本的なアーキテクチャを行い、
細かいパラーメタをNASによるアーキテクチャ構築を行なった.
そのモデルの作り方はMnasNetの論文(MnasNet: Platform-Aware Neural Architecture Search for Mobile)に則っているため、 EfficientNet-B0はその論文で提案されているMnasNetとほぼ同様.
参考
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
MnasNet: Platform-Aware Neural Architecture Search for Mobile
- 2018
- arxiv.org
Web サイト
- 2019年最強の画像認識モデルEfficientNet解説