【深層学習】SciBERT

この記事の読者

深層学習・ディープラーニングの手法の１つである「SciBERT」について知りたい.

キーワード・知ってると理解がしやすい

• BERT

yhayato1320.hatenablog.com

まとめ編 yhayato1320.hatenablog.com

Index

SciBERT とは

科学的な(Scientific)内容の出版物の大規模なマルチドメインコーパスで教師なしの事前学習を行うことで、
ファインチューニングするときの、科学的な内容の NLP のタスクの精度を向上させる.

Scientific BERT

参考

• SciBERT: A Pretrained Language Model for Scientific Text
  • [2019 Allen Institute] 発表論文
  • Abstract
  • arxiv.org