オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】BlueBERT

この記事の読者

深層学習・ディープラーニングの手法の1つである「BlueBERT」について知りたい.


キーワード・知ってると理解がしやすい

  • BERT
  • ELMo

yhayato1320.hatenablog.com

yhayato1320.hatenablog.com


まとめ編 yhayato1320.hatenablog.com

Index

BlueBERT とは

General Language Understanding Evaluation (GLUE) のベンチマーク(データセットとタスク)が更新されている.

Biomedical Language Understanding Evaluation (BLUE) というベンチマークを導入する.
これは、生物医学の分野における、NLP の研究の促進のために、利用可能なベンチマークを作成することが目的.

このベンチマークの特性を確認するために、BERT と ELMo で評価する.

参考

  • Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets
    • [2019] 発表論文
    • Abstract
    • 1 Introduction
    • arxiv.org