【深層学習】双方向セル / Bidirectional

この記事の読者

深層学習・ディープラーニングの改善手法の１つである「双方向セル / Bidirectional」について知りたい.

キーワード・知ってると理解がしやすい

• RNN

基本的な RNN のアルゴリズム yhayato1320.hatenablog.com

RNN #まとめ編 yhayato1320.hatenablog.com

Index

双方向セル / Bidirectionalとは

再帰的な処理の順番を時系列順に行うだけなく、時系列逆順でも処理を行う改良手法.

通常の順方向のみの出力に比べ 2 倍のユニットが出力されます. (「結合」する場合だけではなく、「平均」や「和」する場合もあります.)

Tensorflow のはなし

Tensorflow / Keras では、Bidirectional として、利用できます.

まとめ

• 再帰的なネットワークアーキテクチャ(RNN etc)の場合、入力の順番を時系列順のみで学習するのではなく、時系列逆順でも学習することで精度が向上する

参考

• 生成 Deep Learning / オライリー

  • 6.5.3 双方向セル

    生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする

• ゼロから作るDeep Learning 2

  • 8.4.1 双方向RNN

ゼロから作るDeep Learning ❷ ―自然言語処理編