【深層学習】ToMe

• Transformer
  • yhayato1320.hatenablog.com

Index

ToMe

参考

Transformerで処理中にトークン集合を二つにわけ（A, B)、 A中の各トークンで最も似ているB中のトークンを求め、 最も似ている上位ペアr%をマージし、 トークンを減らして処理をする.

key表現の近さで似ているかを判定する.

• Token Merging: Your ViT But Faster
  • [2022]
  • arxiv.org