オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > PRML > 5.1 フィードフォワードネットワーク関数

5.1 フィードフォワードネットワーク関数

PRML PRML-第５章：ニューラルネットワーク PRML-第５章：ニューラルネットワーク-5.1：フィードフォワードネットワーク関数

フィードフォワードネットワーク関数

モデルの話

回帰、クラス分類では、

  • y(\boldsymbol{x}, \boldsymbol{w})=f \left( \displaystyle \sum_{j=1}^{M}w_{j}\phi_{j}(\boldsymbol{x}) \right)
    • \phi_{j}(\boldsymbol{x})は非線形基底関数(\phi_{j}(x)=x^{2}のような)
    • f(\cdot)は、
      • クラス分類では、非線形活性化関数
      • 回帰では、恒等写像

ニューラルネットワークでは、

  • y_{k}(\boldsymbol{x}, \boldsymbol{w})=\sigma \left( \displaystyle \sum_{j=0}^{M} w_{kj}^{(2)} h \left( \displaystyle \sum_{i=0}^{D} w_{ji}^{(1)}x_{i} \right) \right)

    • a_{j}=\displaystyle \sum_{i=0}^{D}w_{ji}^{(1)}x_{i}

      • a_{j}を活性という
      • w_{ji}^{(1)}は１つ目の層のパラメータを表す
      • j = 1, \cdots, M:Mは１つ目の層のパラメータ数を表す

    • z_{j}=h(a_{j})

    • a_{k}=\displaystyle \sum_{j=0}^{(2)}w_{kj}^{(2)}z_{j}

      • a_{k}を出力ユニット活性
        • k=1, \cdots, K:Kは出力の総数を表す
      • w_{kj}^{(2)}は２つ目の層のパラメータを表す

活性化関数の話

  • y_{k}=\sigma(a_{k})

    • 回帰問題では、

      • 恒等関数:y_{k}=a_{k}

    • ２クラス分類では、

    • 多クラス分類問題では、

      • \sigma(a_{k})=\frac{exp(a_{k})}{\displaystyle \sum_{j}exp(a_{j})}

ニューラルネットワークのモデルの話

  • \boldsymbol{w}はすべての重みパラメータとバイアスパラメータをまとめたベクトル
  • 入力変数の集合[tex:x{i}]から出力変数の集合[tex:y{k}]への非線形関数といえる
  • ニューラルネットワークは万能近似器であるといわれる

パーセプトロンの話