Index

活性化関数 / Activation Function とは

入力信号 (の総和) を出力信号に変換させる関数.
入力信号 (の総和) をどのように活性化するか (どのように発火するか) ということを決定する.

$f(x)\ =\ \left\{ \begin{array}{ll} 1 & x>0 \\ 0 & x \leq 0 \end{array} \right.$

ニューラルネットワークの活性化関数として利用されている.
ステップ関数との違いといえば、まずその滑らかさ. 連続的に変化している.

ニューラルネットワークでは、活性化関数に非線形関数を用いる必要がある. その理由として、ニューラルネットワークの変換は線形変換なため、非線形関数を挟まないと、層を増やすことの意味がなくなってしまう.

$f(x)\ =\ \displaystyle \frac{1}{1+\exp(-x)}$

ReLU は、Rectified Linear Unit の略称.

シグモイド関数は、ニューラルネットワークの歴史において、古くから利用されている.

しかし、それに ReLU が置き換わるように利用されていた.

$f(x)\ =\ \left\{ \begin{array}{ll} x & x>0 \\ 0 & x \leq 0 \end{array} \right.$

Rectified Linear Units Improve Restricted Boltzmann Machines
- [2010] 発表論文
- https://www.cs.toronto.edu/~fritz/absps/reluICML.pdf

ゼロから作る Deep Learning
- 3.1.3 活性化関数の登場
- 3.2 活性化関数
  - 3.2.1 シグモイド関数
  - 3.2.5 シグモイド関数とステップ関数の比較
  - 3.2.6 非線形関数
  - 3.2.7 ReLU 関数
- 6.2.2 隠れ層のアクティベーション分布
  - tanh について
- ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
  - 作者:斎藤康毅
  - オライリージャパン
  Amazon
Activation Functions: Comparison of Trends in Practice and Research for Deep Learning
- [2018]
- 活性化関数についての論文
- 2 Activation Function
- 3 Summary Of Activation Functions
- arxiv.org
Activation Functions in Artificial Neural Networks: A Systematic Overview
- [2021]
- arxiv.org