こんな方におすすめ
機械学習でも必要な「期待値」と「分散」の基本的な内容について知りたい.
確率 #まとめ編
- yhayato1320.hatenablog.com

Index

Index
期待値
分散
- 定義
- 共分散
参考

期待値

確率分布 $p(x)$ ( $f(x)$ と表現されることも )

確率変数 $f(x)$ ( $X$ と表現されることも )

定義

確率変数 $f(x)$ の、確率分布 $p(x)$ の下での、平均値を $f(x)$ の

期待値(Expectation)と呼び、 $E[f]$ ( もしくは、 $E[X]$ )と書く.

確率変数 / 確率分布
- yhayato1320.hatenablog.com
平均
- 代表値のひとつ
- yhayato1320.hatenablog.com

確率分布 $p(x)$ が離散分布のときは、以下で与えられる.

$\begin{align} E[f] &= \displaystyle \sum_{x} p(x)\ f(x) \\ (E[X] &=\ ) \end{align}$

確率分布 $p(x)$ が連続分布のときは、以下で与えられる.

$\begin{align} E[f] &= \displaystyle \int p(x)\ f(x)\ dx \\ (E[X] &=\ ) \end{align}$

どちらの場合も、確率分布や確率密度から得られた有限個の $N$ 点を用いて、

期待値はこれらの点での有限和で近似できる.

$\begin{align} E[f] &\simeq \displaystyle \frac{1}{N} \sum_{n=1}^{N} f(x_n) \\ (E[X] &=\ ) \end{align}$

これは、

$\begin{align} E[f] &\simeq \displaystyle \frac{1}{N} \sum_{n=1}^{N} f(x_n) \\ &= \displaystyle \sum_{n=1}^{N} \frac{1}{N}\ f(x_n) \end{align}$

と変形でき、この式から、 $p(x)\ =\ \displaystyle \frac{1}{N}$ を前提にしている.

つまり、どの確率変数も同様に発生する確率を持つことを前提にしているのである.

多変数関数の期待値を考える.

この場合は、どの変数について平均をとるかを示す添字をつける.

$E_{x}[ f(x, y) ]$

条件付き期待値

条件付き確率 (分布) についても 条件付き期待値 を考えることができる.

$E_{x}[ f | y ]\ =\ \displaystyle \sum_{x} p(x | y)\ f(x)$

条件付き確率
- yhayato1320.hatenablog.com

計算例

サイコロを例とする.

サイコロを転がすと以下の表に応じた金額が貰える.

しかし、サイコロには特殊な細工がされて出る確率が操作されている.（下表）

サイコロ目	1	2	3	4	5	6
金額	100万	200万	300万	300万	200万	100万
確率	1/12	2/12	3/12	3/12	2/12	1/12

貰える金額の期待値を算出するために、このサイコロの確率分布 $p(x)$ を考える.

確率分布は離散分布ということが分かる.

また、サイコロの出目を $x$ としたときの貰える金額の関数 $f(x)$ は以下のように表せる.

$f(x)\ = \left\{ \begin{array}{l} 100万\ (x=1のとき) \\ 200万\ (x=2のとき) \\ 300万\ (x=3のとき) \\ 300万\ (x=4のとき) \\ 200万\ (x=5のとき) \\ 100万\ (x=6のとき) \end{array} \right.$

貰える金額の期待値 $E[f$ ]は

$\displaystyle{ E[f]\ = \sum_{x} p(x)\ f(x)\ (x=1,2, \cdots ,6) \\ \ \\ \ \ \ \ \ \ \ \ = p(1) \times f(1) + p(2) \times f(2) + p(3) \times f(3) + \\ \ \ \ \ \ \ \ \ \ \ \ \ \ p(4) \times f(4) + p(5) \times f(5) + p(6) \times f(6) \\ \ \\ \ \\ \ \ \ \ \ \ \ \ = 1/12 \times 100万 + 2/12 \times 200万 + 3/12 \times 300万 + \\ \ \ \ \ \ \ \ \ \ \ \ \ \ 3/12 \times 300万 + 2/12 \times 200万 + 1/12 \times 100万 \\ \ \\ \ \\ \ \ \ \ \ \ \ \ = 233.3333333万 }$