オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

2021-12-21から1日間の記事一覧

【深層学習】XLNet

Transformer #まとめ編 yhayato1320.hatenablog.com XLNet とは BERT のような、Auto Encoder Model は、文章全体から学習するような (MLM + Attention など) 事前学習を行うことで、 Auto Regression Model のような Language Model (言語モデル) の事前学…

【深層学習】Transformer-XL

yhayato1320.hatenablog.com Index Index Transformer-XL とは 参考 Web サイト Transformer-XL とは Transformer の入力は、固定長で、固定長以上の長い文章を入力することに、制限がある形になる. (その場合は、文章を分割するなどの対応が取られる.) Tran…