オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

2023-03-08から1日間の記事一覧

【深層学習】Meena

Index Index Meena Evolved Transformer Sensibleness and Specificity Average / SSA 参考 Meena 2.6 B パラメータの LLM. Transformer yhayato1320.hatenablog.com Chatbot のアルゴリズム. Evolved Transformer The Evolved Transformer [2019] arxiv.org…

【深層学習】Turning-NLG

Index Index Turning-NLG 大規模モデルゆえの工夫 ハードウエアの工夫 参考 Turning-NLG Transformer Base の LLM. Transformer yhayato1320.hatenablog.com 大規模モデルゆえの工夫 モデル自体を複数の GPU のメモリに分割して学習. ハードウエアの工夫 NVI…