- まとめ編一覧
深層学習の「畳み込みニューラルネットワーク」について、書いた記事をまとめた.
Index
- Index
- 基本理論
- ネットワークアーキテクチャの改善
- LeNet / 1998
- AlexNet / 2012
- ZFNet / 2013
- Fourier Convolutional Neural Network / FCNN / 2013 -
- 3D CNN / 2013
- VGG / 2014
- GoogleNet / InceptionNet / 2014 -
- Fully Convolutional Network / FCN / 2014
- Skip Layer Connection / 2015
- U-Net / 2015
- Dilated Convolution / 2015
- 1D CNN / 2015 -
- Darknet / 2016 -
- Xception / 2016
- MobileNet / 2017
- Deformable Convolutional Networks / DCN / 2017 -
- OSNet / 2019
- ConvNeXt / 2022
- RepLKNet / 2022
- FlashButterfly / 2023
- Pooling
- 画像処理タスク
- 他データ分野への応用
- 参考
基本理論
深層学習のテクニックの中に、画像処理の仕組みを応用した特徴量の抽出手法として
畳み込みニューラルネットワーク / CNN がある.
- 深層学習 #まとめ編
CNN では、画像処理でも利用されるフィルタリング処理やプーリング処理などを加えており、 その際利用される重みに対して、深層学習の枠組みで最適化を行う.
アルゴリズム編
- #アルゴリズム編
- 畳み込み層 / Convolution Layer と Pooling Layer について
- yhayato1320.hatenablog.com
概念編
ネットワークアーキテクチャの改善
LeNet / 1998
CNN の基本的なアイディア.
- GradientBased Learning Applied to Document Recognition
AlexNet / 2012
- AlexNet
- ImageNet Classification with Deep Convolutional Neural Networks
ZFNet / 2013
- Visualizing and Understanding Convolutional Networks
- [2013]
- arxiv.org
Fourier Convolutional Neural Network / FCNN / 2013 -
- Fourier Convolutional Neural Network / FCNN
3D CNN / 2013
- 3D CNN
VGG / 2014
- VGG
- 小さなフィルターで畳み込みを行う.
- yhayato1320.hatenablog.com
GoogleNet / InceptionNet / 2014 -
Inception Module.
- Going Deeper with Convolutions
- [2014]
- arxiv.org
InceptionNet v2 / 2015
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
- [2015]
- arxiv.org
InceptionNet v3 / 2015
- Rethinking the Inception Architecture for Computer Vision
- [2015]
- arxiv.org
InceptionNet v4 / Inception-ResNet / 2016
- Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
- [2016]
- arxiv.org
InceptionNeXt / 2023
- InceptionNeXt: When Inception Meets ConvNeXt
- [2023]
- arxiv.org
- github.com
Fully Convolutional Network / FCN / 2014
- Fully Convolutional Network / FCN
Skip Layer Connection / 2015
- Skip Layer Connection
- [2015-]
- ResNet / DenseNet / ResNeXt / CSPNet
- yhayato1320.hatenablog.com
U-Net / 2015
Feature Pyramid Network / FPN / 2016
- Feature Pyramid Network / FPN
- SSD + U-Net
- yhayato1320.hatenablog.com
Path Aggregation Network / PAN / PANet / 2018
- Path Aggregation Network / PAN / PANet
Dilated Convolution / 2015
Multi-Scale Context Aggregation by Dilated Convolutions
- [2015]
- arxiv.org
-
- paper with code の method のページ
D3Net / 2020
Dilated Convolution + Dense Net
Densely connected multidilated convolutional networks for dense prediction tasks
- [2021]
- arxiv.org
異なる解像度の特徴をどう結びつけるべきか？：Sonyが提案したD3Net
1D CNN / 2015 -
- 1D CNN
Darknet / 2016 -
- Darknet
- 主に YOLO で利用される CNN のネットワークアーキテクチャ
- Darknet-19 / Darknet-53 / CSP Darknet-53
- yhayato1320.hatenablog.com
Xception / 2016
- Xception: Deep Learning with Depthwise Separable Convolutions
- [2016]
- arxiv.org
MobileNet / 2017
MobileNet V1
- [2017 Google]
- yhayato1320.hatenablog.com
MobileNet V2
- [2018 Google]
- yhayato1320.hatenablog.com
MobileNet V3
- [2019 Google]
- yhayato1320.hatenablog.com
Deformable Convolutional Networks / DCN / 2017 -
- Deformable Convolutional Networks / DCN
OSNet / 2019
- OSNet
- Multi Scale / Depthwise / ResNet
- yhayato1320.hatenablog.com
ConvNeXt / 2022
A ConvNet for the 2020s
- [2022]
- arxiv.org
ConvNeXtを試す
ConvNeXt V2 / 2023
- ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
- [2023]
- arxiv.org
ConvNeXt に自己教師あり学習の MAE を統合した FCMAE を持つ改良モデル ConvNeXt V2を紹介.
GRNという新しい層により、チャネル間の競合関係を強調する改善を施す.
一定のスケール性を持つ.
GRNという新しい層により、チャネル間の競合関係を強調する改善を施す.
一定のスケール性を持つ.
- 【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
RepLKNet / 2022
Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs
- [2022]
- arxiv.org
CNNのカーネルサイズは大きくするべきか？
FlashButterfly / 2023
- Simple Hardware-Efficient Long Convolutions for Sequence Modeling
- [2023]
- arxiv.org
Pooling
- CNN で用いられる Pooling
画像処理タスク
物体認識 / Object Recognition
- CNN を用いた物体認識の手法.
物体検出 / Object Detection
- CNN を用いた物体検出の手法.
セグメンテーション / Segmentation
画像生成
- PixelCNN
他データ分野への応用
動画像処理
- 動画像処理への応用
参考
Papers Explained Review 01: Convolutional Neural Networks
ML Papers Explained
- Convolutional Neural Networks
- github.com
CS class CS231n: Convolutional Neural Networks for Visual Recognition
