オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【自然言語処理】ELMo

【自然言語処理】ELMo

データサイエンス データサイエンス-深層学習

この記事の読者

自然言語処理・NLPの手法の１つである「ELMo」について知りたい.



キーワード・知ってると理解がしやすい

Index

ELMo とは

Word2Vec とは異なり、ELMo から得られる単語の分散表現は、文脈に応じて異なる値をとる.

単語に文脈に応じた分散表現を付与することを文脈化単語埋め込み (Contextualized Word Embedding) と呼ばれる.

Word2Vec では、順伝播のネットワーク(Feed Forward Neural Network; FFNN)を利用していたが、 ELMo では、RNN、LSTM のような時系列情報をうまく利用できるネットワークを利用する.

モデル

ELMo は、主に順方向の多層 LSTM と逆方向の多層 LSTM を組み合わせた構成となっている.



このようなモデルは、双方向 LSTM (Bidirectional LSTM) と呼ばれる.

参考

  • Deep contextualized word representations

書籍