オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】BERT #まとめ編 #00

【深層学習】BERT #まとめ編 #00

データサイエンス データサイエンス-深層学習

Index

BERT / 2018

自然言語処理における深層学習を用いたアルゴリズム.

Transformer をベースとしている.

アルゴリズム編

実装編

BERT の研究

RoBERTa / 2019

Meta（旧Facebook）がハイパーパラメーターの調整や学習用データ量の増加によって、BERTの精度を大幅に上回る RoBERTa を発表.

Robustly Optimized BERT Approach



ALBERT / 2019

GoogleがBERTを軽量化した ALBERT を発表.

DistilBERT / 2019

  • DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
    • [2019 Hugging Face]
    • Ditillation(蒸留)の手法を用いてモデルを軽量化
    • arxiv.org

FlauBERT / 2019

  • FlauBERT: Unsupervised Language Model Pre-training for French

Sentence BERT / SBERT / 2019

GAN-BERT / 2020

  • GAN-BERT: Generative Adversarial Learning for Robust Text Classification with a Bunch of Labeled Examples

DeBERTa / 2020

学習するドメインに対する研究

他データ分野への応用

HuBERT / 2021

rinna社が日本語の音声に特化した事前学習モデル HuBERT を、商用利用可能なApache-2.0 ライセンスで公開.

約19,000時間の日本語音声コーパスReazonSpeechを用いて学習.



モデル

サービス・アプリケーション

参考