【深層学習】Transformer-XL

yhayato1320.hatenablog.com

Index

Transformer-XL とは

Transformer の入力は、固定長で、固定長以上の長い文章を入力することに、制限がある形になる.
(その場合は、文章を分割するなどの対応が取られる.)

Transformer-XL では、時系列的な連続性を乱すことなく、固定長を超える入力データの学習を可能にした.

Transformer Extra Large

参考

• Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
  • [2019]
  • Abstract
  • arxiv.org

Web サイト

• Transformer-XLを理解する
  • data-analytics.fun