Transformer #まとめ編 yhayato1320.hatenablog.com XLNet とは BERT のような、Auto Encoder Model は、文章全体から学習するような (MLM + Attention など) 事前学習を行うことで、 Auto Regression Model のような Language Model (言語モデル) の事前学…

yhayato1320.hatenablog.com Index Index Transformer-XL とは 参考 Web サイト Transformer-XL とは Transformer の入力は、固定長で、固定長以上の長い文章を入力することに、制限がある形になる. (その場合は、文章を分割するなどの対応が取られる.) Tran…