【深層学習】ERNIE #まとめ編

• Transformer
  • 自然言語処理 #まとめ編
  • yhayato1320.hatenablog.com

Index

ERNIE / 2019

Baiduが、BERTが中国語を扱う上での問題点を解決した ERNIE を発表.

• ERNIE: Enhanced Language Representation with Informative Entities
  • [2019]
  • v3
  • arxiv.org

ERNIE 2.0 / 2019

• ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
  • [2019]
  • arxiv.org

ERNIE 3.0 /.2021

RNIE 3.0は、文字情報のみで学習する他の言語モデルと異なり、様々な知識を体系的に連結してグラフ構造にした知識グラフデータも学習データに加えることによって、 非常に一貫性のある応答を出力することができる.

• ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation
  • [2021]
  • arxiv.org