オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】seq2seq / Encoder-Decoder Model #実装編 #02

この記事の読者


深層学習・ディープラーニングのタスクの1つである「文章生成」について その1つのアルゴリズムとである「seq2seq / Encoder-Decoder Model」について知りたい.

Index

seq2seq

#01 では、Encoder, Decoderを実装し、Seq2seq class を実装した.

#02 では、実装した Seq2seq class を利用して、簡単な問題で学習するコードを実装する.

タスク

今回は、トイプロブレムとして簡単なタスクを例にして、実装を進める.

「足し算」の問題で、「57+5」のような文章を入力として、「62」のような文章を生成するタスク.

データセット

「ゼロから作るDeep Learning 2」で使われている「足し算」データセットを利用.

スクリプト



データセットや、評価関数は、「deep-learning-from-scratch-2」を利用させていただきます.

まとめ

  • 「足し算」データセットを利用して、文字列の式を入力とて、計算結果を文字列として出力した
  • 90% 以上の精度を達成できた

参考