期待値と分散

期待値は確率分布の中心

確率変数 \(X\) は、 さまざまな値をとります。

その確率分布について、 平均的な中心の位置を表すものが 期待値です。

この期待値は、 母集団の平均である 母平均 \(\mu\) に対応します。

母集団や母平均については、 推測統計で詳しく学びます。 ここではまず、 「確率分布全体を平均したときの中心」 というイメージを持っておきましょう。

確率を重みにして中心を求める

では、 期待値をどのように計算するのか、 具体例で見てみましょう。

0と1の2つの値をとる確率変数を考えます。

\(X=0\) となる確率が0.8、 \(X=1\) となる確率が0.2だとします。

もし0と1という 値だけを見て単純平均すれば、

となります。

しかし、 この分布では0の確率が0.8と大きく、 1の確率は0.2しかありません。

そのため、 分布の中心は0.5ではなく、 起こりやすい0の方向へ寄る はずです。

そこで、 各値にその値が生じる確率を掛けて、 加重平均します。

これが、 確率を重みとする加重平均です。

連続型の期待値を理解する

連続型の確率変数でも、 期待値の考え方は同じです。

確率変数の値に、 その場所の確率密度を重みとして掛け、 分布全体について平均します。

離散型では、 1つ1つの値を \(\Sigma\) で足し合わせました。

連続型では値が無数にあるため、 積分を使って分布全体を集めます。

\(\Sigma\) と積分で見た目は違いますが、 値を、その起こりやすさで重み付けして平均する という考え方は共通です。

分散は偏差の二乗の期待値

次に、 確率変数のばらつきを考えます。

確率変数の分散は \(V[X]\) と表し、 母分散 \(\sigma^2\) に対応します。

分散の考え方は、 記述統計で学んだ分散と同じです。

まず、 中心である母平均 \(\mu\) から どれくらい離れているかを考えます。

この \(X-\mu\) が、平均との差である偏差です。

ただし偏差にはプラスとマイナスがあるため、 そのまま平均すると互いに打ち消し合ってしまいます。

そこで、 偏差を二乗します。

そして、 この偏差の二乗について期待値を求めたものが 分散です。

分散の重要公式を理解する

離散型の分散では、 偏差の二乗に その値が生じる確率を掛けて、 すべて足し合わせます。

つまり分散も、 偏差の二乗を確率で重み付けして平均したもの です。

そして、この式を整理すると、 非常に重要な公式になります。

ここで間違えやすいのが、 「二乗の期待値」と「期待値の二乗」 の違いです。

STEP02で使った、 0と1をとる確率変数で実際に計算してみましょう。

このように具体的に計算すると、

連続型の分散を整理する

連続型でも、 分散の考え方は離散型と同じです。

母平均 \(\mu\) からの偏差を二乗し、 そこに確率密度 \(f(x)\) を重みとして掛けます。

そして連続型なので、 \(\Sigma\) ではなく積分で分布全体を集めます。

式は少し複雑に見えますが、 やっていることは離散型と同じです。

そして連続型でも、 式を整理した結果は離散型と共通です。

つまり、 離散型と連続型では計算方法が違っても、 期待値と分散が表している意味は同じ です。