オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【自然言語処理】アルゴリズム #まとめ編 #02

Index

自然言語処理におけるアルゴリズム

深層学習を用いる手法を記す.

BERT / 2018

GPT / 2018 -

ERNIE / 2019

  • ERNIE: Enhanced Language Representation with Informative Entities

MT-DNN / 2019

  • Multi-Task Deep Neural Networks for Natural Language Understanding

XLNet / 2019

  • XLNet: Generalized Autoregressive Pretraining for Language Understanding

ELECTRA / 2020

T5 / 2020

Turing-NLG / 2020

Meena / 2020

Blenderbot / 2020

MT-NLG / 2022

  • Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model

テクニック・工夫

Large Language Model / LLM

参考