【深層学習】seq2seq / Encoder-Decoder Model #実装編 #01

この記事の読者

深層学習・ディープラーニングのタスクの１つである「文章生成」について その１つのアルゴリズムとである「seq2seq / Encoder-Decoder Model」について知りたい.

Index

seq2seq

• seq2seq
  • yhayato1320.hatenablog.com

Script

#01 では、Encoder と Decoder を実装する.

Encoder

Encoder class の set_my_layer funtion で、使用するレイヤを設置.

使用するレイヤは、Embedding と RNN (LSTM or GRU) .

• RNN
  • yhayato1320.hatenablog.com
    
    

call function で、各レイヤを実行.

DecoderCell

DecoderCell class では、時系列単位での処理を担う.

使用するレイヤは、Embeddinging, RNN (LSTM or GRU), Dense.

call function で、各レイヤを実行.

Decoder

Decoder class では、DecoderCell を時系列の数だけ処理を回す.

call function で、docoder へ入力は、前時刻の予測結果ではなく、 前時刻のラベルデータを入れる. (Teacher Forcing)

seq2seq

Encoder class と Decoder class を設置する.

まとめ

• tensorflow.keras.Model class を使って、各ネットワークアーキテクチャを実装
• __init__ function でパラメータを設置とレイヤを定義して、call function で実行

参考

• 生成 Deep Learning / オライリー

  • 6章 書く

  • 生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする

    
    
    

• ゼロから作るDeep Learning 2

  • 7 RNNによる文章生成

  • ゼロから作るDeep Learning ❷ ―自然言語処理編