Index
スコア関数 / Score Function とは
深層学習の Attention という特徴量抽出の仕組みの内部で利用される.
Query と Key が、どの程度似ているか、どの程度関連があるかを計算する関数.
内積が使用されるケースが多いが、複数の関数が手法として提案されている.
様々なスコア関数
Scaled Dot Product Attention
スコア関数に Scaled Dot Product (内積演算) を利用.
Transformer の Multi Head Attention で利用されている.
Transformer の Multi Head Attention で利用されている.
