この記事の読者
深層学習・ディープラーニングのタスクの1つである「文章生成」について
その1つのアルゴリズムとである「seq2seq / Encoder-Decoder Model」の改善手法「Peeky」について知りたい.
Index
seq2seq の改善
- seq2seq
seq2seq の改善手法のひとつとして「Peeky」(覗き見)がある.
Peeky とは
Encoder の情報 (隠れ状態)を 最初のRNN (セル) への入力のみでなく、 他レイヤ (例えば、すべての RNN セルや、RNN の次のレイヤなど) への入力として使う手法.
例
Peeky 適用前のネットワークアーキテクチャ例
Peeky 適用後のネットワークアーキテクチャ例
まとめ
- Encoder の情報 (隠れ状態)を 様々な箇所に情報として渡すことで、Encoder の情報が薄まらずに、全体に行き渡る
実装
- seq2seq #実装編
参考
- Sequence to Sequence Learning with Neural Networks
- [2014]
- arxiv.org
書籍
生成 Deep Learning / オライリー
- 6章 書く
-
ゼロから作るDeep Learning 2
- 7 RNNによる文章生成