オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【機械学習】情報量

【機械学習】情報量

Index

情報量

エントロピー / Entropy

離散確率変数 x を考え、この変数に対するある特定の値を観測したときに どれだけの情報を受け取るか.

\begin{eqnarray} H(x)\ &=&\ - \displaystyle \sum_{x}\ p(x)\ \log p(x) \\ \\ &=&\ - \displaystyle \int_{x}\ p(x)\ \log p(x)\ dx \end{eqnarray}

相互情報量

交差エントロピー / Cross Entropy

KL Divergence / 相対エントロピー

JS Divergence

参考

書籍

Web サイト