オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

2022-02-26から1日間の記事一覧

【深層学習】Scaled Cosine Attention

yhayato1320.hatenablog.com Index Index Scaled Cosine Attention 類似度の定義 参考 Scaled Cosine Attention Attention の仕組みの中で利用されるスコア関数のひとつ. yhayato1320.hatenablog.com Swin Transformer V2 で、提案された. yhayato1320.haten…

【深層学習】スコア関数 / Score Function

yhayato1320.hatenablog.com Index Index スコア関数 / Score Function とは 様々なスコア関数 Scaled Dot Product Attention Scaled Cosine Attention スコア関数 / Score Function とは 深層学習の Attention という特徴量抽出の仕組みの内部で利用される.…