オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【機械学習】KL Divergence

Index

KL Divergence

相対エントロピー / Relative Entropy や Kallback Leibler (カルバック・ライブラー) Divergence / KL Divergence と呼ばれている.

分布間の類似度を測定する際に利用される.

定義

分布  p(x),\ q(x) に対し、

 KL(p\ ||\ q)\ =\ -\ \displaystyle \int p(x)\ \log\ \displaystyle \left\{ \frac{q(x)}{p(x)} \right\} dx


連続ではく、離散だと

 KL(p\ ||\ q)\ =\ -\ \displaystyle \sum p(x)\ \log\ \displaystyle \left\{ \frac{q(x)}{p(x)} \right\}

参考