オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

2025-03-01から1ヶ月間の記事一覧

【自然言語処理】MPT #まとめ編

Index Index MPT MPT-7B / 2023 MPT-30B MPT Transformer #まとめ編 yhayato1320.hatenablog.com MPT-7B / 2023 1兆トークンのテキストとコードで学習された67億パラメータ言語モデル「MPT(MosaicML Pretrained Transformer)」が発表. 6万5000トークン使用可…