2022-02-26 【深層学習】Scaled Cosine Attention データサイエンス データサイエンス-深層学習 yhayato1320.hatenablog.com Index Index Scaled Cosine Attention 類似度の定義 参考 Scaled Cosine Attention Attention の仕組みの中で利用されるスコア関数のひとつ. yhayato1320.hatenablog.com Swin Transformer V2 で、提案された. yhayato1320.hatenablog.com 類似度の定義 参考 Swin Transformer V2: Scaling Up Capacity and Resolution [2021] 3 Swin Transformer V2 3.2 Scaling Up Model Capacity arxiv.org
