オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】BERT #まとめ編 #00

Index

BERT / 2018

自然言語処理における深層学習を用いたアルゴリズム.

Transformer をベースとしている.

BERT の研究

RoBERTa / 2019

ALBERT / 2019

  • ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

DistilBERT / 2019

  • DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
    • [2019 Hugging Face]
    • Ditillation(蒸留)の手法を用いてモデルを軽量化
    • arxiv.org

FlauBERT / 2019

  • FlauBERT: Unsupervised Language Model Pre-training for French

Sentence BERT / SBERT / 2019

GAN-BERT / 2020

  • GAN-BERT: Generative Adversarial Learning for Robust Text Classification with a Bunch of Labeled Examples

学習するドメインに対する研究