【深層学習】Self Attention

この記事の読者

深層学習・ディープラーニングの改善手法の１つである「Self Attention」について知りたい.

キーワード・知ってると理解がしやすい

• ざっくり Attention

Attention #まとめ編 yhayato1320.hatenablog.com

Index

用語定義

使用する変数や用語を以下ページで定義しております. 【深層学習】Attention #まとめ編 - オムライスの備忘録

Self Attentionとは

ざっくりと

自分自身に対してAttention を行って、その結果を自分自身に反映する仕組み 自分自身の他の場所の特徴に着目して、自分自身を特徴付ける仕組み

Query, Memory の関係性でいうと

深層学習における改善手法「Attention」のひとつ. 入力Queryと索引Memoryが同じAttention.

メリット

Self Attention を導入することで、疎結合にするという制約が加わることで、過学習を抑制できる.

参考

動画

• Deep Learning入門：Attention（注意）

www.youtube.com