【深層学習】Big Bird

Index

BigBird

これまでの最大 8 倍の 1 セグメント当たり 4096 項目のシーケンス長を処理できる.

参考

• Big Bird: Transformers for Longer Sequences
  • [2020]
  • arxiv.org