オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【統計学】正規分布 / ガウス分布

【統計学】正規分布 / ガウス分布

データサイエンス データサイエンス-統計学

Index

正規分布 / ガウス分布

代表的な連続型の確率分布であって、自然界や人間社会の中の数多くの現象に
対してあてはまり、統計学の理論上でも、応用でも重要な確率分布.

確率変数 x が、平均 \mu、分散 \sigma^{2} が正規分布にしたがっているとき、

x\ \sim\ N(\ \mu,\ \sigma^{2}\ )

x \ \sim\ N(\ x\ |\ \mu,\ \sigma^{2}\ )



で表す.

ガウスとの関連

正規分布はガウス分布とも呼ばれる.

これは、C. F. ガウスが天文学の観測データを数学的に分析したとき、 測定誤差がある法則に従うこと仮定して、誤差理論を確率した.

その際に利用されていたのが、正規分布.

基本情報

密度関数

f(x)\ =\ \displaystyle \frac{1}{\sqrt{2 \pi} \sigma} \exp \left\{ - \displaystyle \frac{(x - \mu)^{2}}{2 \sigma^{2}} \right\}



d 次元の場合、

N(x\ |\ \mu,\ \Sigma)\ =\ \displaystyle \frac{1}{ (2\pi)^{\frac{d}{2}}\ | \Sigma |^{\frac{1}{2}} } \exp \left( - \displaystyle \frac{1}{2}(x - \mu)^{T}\ \Sigma^{-1}\ (x - \mu) \right)

期待値と分散

確率変数が x が正規分布にしたがっているとする.

期待値

\begin{align} E[x]\ &=\ \displaystyle \int_{- \infty}^{\infty} x f(x) dx \\ \\ &=\ \displaystyle \int_{- \infty}^{\infty} x \displaystyle \frac{1}{\sqrt{2 \pi} \sigma} \exp \left\{ - \displaystyle \frac{(x - \mu)^{2}}{2 \sigma^{2}} \right\} dx \\ \\ &=\ \mu \end{align}

分散

\begin{align} V(x)\ &=\ E[ (x - \mu)^{2} ] \\ \\ &=\ \displaystyle \int_{- \infty}^{\infty} (x - \mu)^{2} f(x) dx \\ \\ &=\ \displaystyle \int_{- \infty}^{\infty} (x - \mu)^{2} \displaystyle \frac{1}{\sqrt{2 \pi} \sigma} \exp \left\{ - \displaystyle \frac{(x - \mu)^{2}}{2 \sigma^{2}} \right\} dx \\ \\ &=\ \sigma^{2} \end{align}

特徴・性質

我々が、なぜ統計分析を行う場合に、正規分布を仮定するのか.
これは、正規分布の以下のような特徴・性質にある.

  1. 身長の分布など、我々が分析対象とする現象は、正規分布で表せることが多い.

  2. 体重や所得の分布のように変数の変換(体重の \frac{1}{3} 乗は正規分布になる)によって、
    正規分布で表せることが多い.

  3. 中心極限定理

  4. X が正規分布 N(\mu, \sigma^{2}) に従っているとき、
    その線形変換 Y = aX+b は N(a \mu + b,a^{2} \sigma^{2}) に従う.

  5. 標準化変数 Z = \displaystyle \frac{X-\mu}{\sigma} は正規分布 N(0, 1) に従う. (標準正規分布)

標準正規分布

確率変数 X の標準化した確率変数を Z = \displaystyle \frac{X - \mu}{\sigma} とする.

標準化変数 Z は N(0, 1) に従う.

これを標準正規分布と呼ぶ.

中心極限定理

正規分布は、一般のランダム系列からその和や平均としても生じる.

さいころを多数回振った場合の目の和 (一様乱数の和など)は、 その回数 n が大きいときには、ほぼ正規分布に従って分布する.



n の大きくなるときに正規分布が出現するという神秘的な結果は、 中心極限定理という.

識別関数

尤度関数をベイズ識別における識別関数として利用される.

i 番目のクラスだったときの条件付き確率 (=尤度)

p(x\ |\ C_{i})\ =\ N(x\ |\ \mu,\ \Sigma)



つまり、データへの適用度が高ければ高いほど、選ばれる.

条件付きガウス分布

2 つの変数集合の同時分布 p(x_{a},\ x_{b}) がガウス分布に従うなら、 一方の変数集合が与えられたときの、 もう一方の集合の条件付き分布 p(x_{a}\ |\ x_{b})もガウス分布になる.



周辺ガウス分布

p(x_{a})\ =\ \displaystyle \int\ p(x_{a},\ x_{b})\ dx_{b}



ベイズの定理

事後確率\ =\ \displaystyle \frac{事前確率\ \times\ 尤度}{周辺確率}



最尤推定

ある多変量ガウス分布から、観測値 \{ x_{n} \} が、独立に得られたと仮定したデータ集合 X\ =\ (x_1,\ \cdots,\ x_n)^{T} があるとき、 その分布のパラメータは、最尤推定法で推定できる.



パラメータ \mu,\ \Sigma (平均、共分散) が決定したときの、データへの評価である尤度関数は、

p(x\ |\ \mu,\ \Sigma)\ =\ N(\mu,\ \Sigma)



と表され、対数尤度関数は、

参考