オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】ディープニューラルネットワーク / Deep Neural Network / DNN #アルゴリズム編

こんな方におすすめ

深層学習・ディープラーニングでも必要な「ディープニューラルネットワーク (Deep Neural Network : DNN)」の基本的な内容について知りたい.



この記事では、ディープニューラルネットワーク (Deep Neural Network : DNN)の基礎概念のまとめを行う.

「これから、機械学習ディープラーニングの学習をしたいから、その基本となるディープニューラルネットワーク (Deep Neural Network : DNN)の理解を深めたい」という方に向けた記事.

この記事では、ディープニューラルネットワーク (Deep Neural Network : DNN) アーキテクチャレイヤ視点で考える.

Index

一言でDNNとは

ニューラルネットワーク関数を複数連結させ、層を深くしたニューラルネットワーク.

多層ニューラルネットワークと同義.

構成要素

ディープラーニングには、様々なアーキテクチャがありますが、最も基本的なアーキテクチャを考える.

以下レイヤ視点から見た基本的なアーキテクチャ.



アーキテクチャの構成要素は以下の3つ.

  • アフィン変換レイヤ (Affine Layer)
  • 活性化関数レイヤ (Activation Function Layer)
  • 誤差関数レイヤ (Loss Function Layer)

アフィン変換レイヤ / Affine Layer

積と和の計算で線形変換を行う.

全結合レイヤ (Fully Connected Layer)」とも呼び、
「全結合レイヤ (Fully Connected Layer)」 、「活性化関数レイヤ (Activation Function Layer)」、「誤差関数レイヤ」
のみで構成されたモデルを「全結合モデル」と呼ぶ.



活性化関数レイヤ / Activation Function Layer

入力に対し、活性化するかどうかを決定する.

非線形関数を使用することが多い.

予測を出力する最後の活性化関数は、タスクに応じで変更される.

例 : シグモイド関数 / ステップ関数 / ReLu関数 / ect...

誤差関数レイヤ / Loss Function Layer

予測と正解(ラベル)から誤差を計算する.

誤差の計算方法は、タスクやアーキテクチャなどにより異なる.

まとめ

この記事では、DNNの基本的なアーキテクチャをレイヤ視点での構成要素をまとめた.

実装編

参考