オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】seq2seq / Encoder-Decoder Model #アルゴリズム編 #02

この記事の読者


深層学習・ディープラーニングのタスクの1つである「文章生成」について
その1つのアルゴリズムとである「seq2seq / Encoder-Decoder Model」の改善手法「Peeky」について知りたい.

Index

seq2seq の改善

seq2seq の改善手法のひとつとして「Peeky」(覗き見)がある.

Peeky とは

Encoder の情報 (隠れ状態)を 最初のRNN (セル) への入力のみでなく、 他レイヤ (例えば、すべての RNN セルや、RNN の次のレイヤなど) への入力として使う手法.

Peeky 適用前のネットワークアーキテクチャ



Peeky 適用後のネットワークアーキテクチャ

まとめ

  • Encoder の情報 (隠れ状態)を 様々な箇所に情報として渡すことで、Encoder の情報が薄まらずに、全体に行き渡る

実装

参考

  • Sequence to Sequence Learning with Neural Networks

書籍