【深層学習】Turning-NLG

Index

Turning-NLG

Transformer Base の LLM.

• Transformer
  • yhayato1320.hatenablog.com

大規模モデルゆえの工夫

モデル自体を複数の GPU のメモリに分割して学習.

ハードウエアの工夫

NVIDIA DGX-2を利用して、GPU 間の通信を高速化.

参考

• Turing-NLG
  • [2020 Microsoft]
  • www.microsoft.com