【深層学習】XLM

• XLM #まとめ編
  • yhayato1320.hatenablog.com

XLM とは

言語の内容理解のタスクでは、Generative Pre Training が使われることがある.

この研究では、ある言語における教師なし事前学習を行い、 複数の言語(Cross-lingual)の教師ありファインチューニングを行うことで、精度が向上することを提案する.

Cross-lingual (X) Language Model

参考

• Cross-lingual Language Model Pretraining
  • [2019 Facebook AI Research]
  • Abstract
  • arxiv.org