オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【機械学習】KL Divergence

【機械学習】KL Divergence

データサイエンス データサイエンス-機械学習

Index

KL Divergence

相対エントロピー / Relative Entropy や Kallback Leibler (カルバック・ライブラー) Divergence / KL Divergence と呼ばれている.

分布間の類似度を測定する際に利用される.

定義

分布 p(x),\ q(x) に対し、

KL(p\ ||\ q)\ =\ -\ \displaystyle \int p(x)\ \log\ \displaystyle \left\{ \frac{q(x)}{p(x)} \right\} dx


連続ではく、離散だと

KL(p\ ||\ q)\ =\ -\ \displaystyle \sum p(x)\ \log\ \displaystyle \left\{ \frac{q(x)}{p(x)} \right\}

研究

  • Generalizing the Alpha-Divergences and the Oriented Kullback–Leibler Divergences with Quasi-Arithmetic Means

参考