Index Index 画像への応用 課題 アルゴリズム Image Transformer / 2018 Set Transformer / 2018 Axial Transformer / 2019 Vision Transformer / ViT / 2020 ★ Deep ViT / 2021 DeIT / 2021 ★ Swin Transformer / 2021 ★ MetaFormer / PoolFormer / 2021 ML…

Transformer #まとめ編 yhayato1320.hatenablog.com Index Index XLM / 2019 XLM-RoBERTa / XLM-R / 2020 XLM-ProphetNet / 2020 XLM / 2019 XLM yhayato1320.hatenablog.com XLM-RoBERTa / XLM-R / 2020 RoBERTa yhayato1320.hatenablog.com Unsupervised C…

XLM #まとめ編 yhayato1320.hatenablog.com XLM とは 言語の内容理解のタスクでは、Generative Pre Training が使われることがある. この研究では、ある言語における教師なし事前学習を行い、 複数の言語(Cross-lingual)の教師ありファインチューニングを行…

Transformer #まとめ編 yhayato1320.hatenablog.com Index Index Sparse Transformer とは Factorized Self Attention どこを見ている 参考 Web サイト Sparse Transformer とは Transformer の課題として、入力の系列が増えると、二次関数的に計算コストや…