標本から母分散を見積もるとき、ずれの二乗和を $n$ ではなく $n - 1$ で割ったもの。$n$ は標本の大きさ、$x_i$ は $i$ 番目の値、$\bar{x}$ は標本平均。

$$s^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})^2$$

標本を取り直すたびに $s^2$ の値は変わるが、取り直しを繰り返したときの平均（期待値）がちょうど母分散 $\sigma^2$ に一致する。この「平均的に真の値に一致する」性質を不偏という。$n$ で割る標本分散 $\hat{\sigma}^2$ は、平均的に母分散より小さくなる。

証明

示すこと

不偏分散 $s^2$ は取り直しの平均で母分散に一致し、標本分散 $\hat{\sigma}^2$ は母分散より $\frac{n-1}{n}$ 倍だけ小さくなること。

$$E[s^2] = \sigma^2, \qquad E[\hat{\sigma}^2] = \frac{n - 1}{n} \sigma^2 \tag{1}$$

準備

標本を取り直すたびに値が変わることを表すため、標本を確率変数 $X_1, \dots, X_n$（$n \ge 2$）で書き、標本平均を $\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$ とする。

前提：$X_1, \dots, X_n$ は i.i.d. で、$E[X_i] = \mu$、$E[(X_i - \mu)^2] = \sigma^2$。$\sigma^2$ は有限の値とする。分布によっては分散が無限大になる（存在しない）ものがあるので、それを除くための条件。

$s^2$ と $\hat{\sigma}^2$ はどちらも、標本平均から測ったずれの二乗和 $\sum_{i} (X_i - \bar{X})^2$ を $n - 1$ か $n$ で割ったもの。そこで、このずれの二乗和を取り直しながら平均した値（期待値）を求めればよい。示すのは次の式。

$$E\left[ \sum_{i=1}^{n} (X_i - \bar{X})^2 \right] = (n - 1) \sigma^2 \tag{2}$$

左辺は真の分散ではなく、「標本平均から測ったずれの二乗和」の取り直しの平均。真の分散 $\sigma^2$ の $n$ 倍ではなく $n - 1$ 倍にしかならない、というのがこの式の意味で、両辺を $n - 1$ で割れば $E[s^2] = \sigma^2$、$n$ で割れば $E[\hat{\sigma}^2] = \frac{n-1}{n} \sigma^2$ になる。

補題 1（分解）

示すこと

任意の数 $c$ について次が成り立つ。

$$\sum_{i=1}^{n} (X_i - c)^2 = \sum_{i=1}^{n} (X_i - \bar{X})^2 + n (\bar{X} - c)^2 \tag{3}$$

証明

$X_i - c = (X_i - \bar{X}) + (\bar{X} - c)$ と分けて二乗すると、

$$(X_i - c)^2 = (X_i - \bar{X})^2 + 2 (X_i - \bar{X})(\bar{X} - c) + (\bar{X} - c)^2 \tag{4}$$

(4) を $i = 1, \dots, n$ について足す。$\bar{X} - c$ は $i$ によらないので和の外に出せ、最後の項は同じものを $n$ 回足すことになる。

$$\sum_{i=1}^{n} (X_i - c)^2 = \sum_{i=1}^{n} (X_i - \bar{X})^2 + 2 (\bar{X} - c) \sum_{i=1}^{n} (X_i - \bar{X}) + n (\bar{X} - c)^2 \tag{5}$$

(5) の真ん中の項の和は、$\bar{X}$ の定義から 0 になる。

$$\sum_{i=1}^{n} (X_i - \bar{X}) = \sum_{i=1}^{n} X_i - n \bar{X} = n \bar{X} - n \bar{X} = 0 \tag{6}$$

(6) を (5) に入れると真ん中の項が消え、(3) が成り立つ。(3) の右辺第 2 項は 0 以上なので、$\bar{X}$ はずれの二乗和を最小にする点でもある。

補題 2（標本平均のばらつき）

示すこと

標本平均 $\bar{X}$ の母平均 $\mu$ からのずれの二乗は、取り直しの平均で $\sigma^2 / n$ になる。

$$E\big[(\bar{X} - \mu)^2\big] = \frac{\sigma^2}{n} \tag{7}$$

証明

$\bar{X}$ の定義から、$\bar{X} - \mu$ は各データのずれ $X_i - \mu$ の平均で書ける。

$$\bar{X} - \mu = \frac{1}{n} \sum_{i=1}^{n} X_i - \mu = \frac{1}{n} \sum_{i=1}^{n} (X_i - \mu) \tag{8}$$

(8) を二乗する。和の二乗は、すべての組 $(i, j)$ の積の和になる。

$$(\bar{X} - \mu)^2 = \frac{1}{n^2} \left( \sum_{i=1}^{n} (X_i - \mu) \right)^2 = \frac{1}{n^2} \sum_{i=1}^{n} \sum_{j=1}^{n} (X_i - \mu)(X_j - \mu) \tag{9}$$

(9) の組を、$i = j$ のものと $i \ne j$ のものに分ける。

$$(\bar{X} - \mu)^2 = \frac{1}{n^2} \left( \sum_{i=1}^{n} (X_i - \mu)^2 + \sum_{i \ne j} (X_i - \mu)(X_j - \mu) \right) \tag{10}$$

(10) の両辺の期待値をとる。期待値の線形性から、和の期待値は期待値の和になる。

$$E\big[(\bar{X} - \mu)^2\big] = \frac{1}{n^2} \left( \sum_{i=1}^{n} E\big[(X_i - \mu)^2\big] + \sum_{i \ne j} E\big[(X_i - \mu)(X_j - \mu)\big] \right) \tag{11}$$

(11) の第 2 項を考える。$i \ne j$ のとき $X_i$ と $X_j$ は独立なので、$X_i - \mu$ と $X_j - \mu$ も独立。独立な確率変数の積の期待値は期待値の積に分かれる（期待値を参照）ので、

$$E\big[(X_i - \mu)(X_j - \mu)\big] = E[X_i - \mu] \, E[X_j - \mu] = (\mu - \mu)(\mu - \mu) = 0 \tag{12}$$

(11) の第 1 項は、前提から各項が $\sigma^2$ なので $n \sigma^2$。これと (12) を (11) に入れると、

$$E\big[(\bar{X} - \mu)^2\big] = \frac{1}{n^2} (n \sigma^2 + 0) = \frac{\sigma^2}{n} \tag{13}$$

本題

(3) で $c = \mu$ とおいて移項する。

$$\sum_{i=1}^{n} (X_i - \bar{X})^2 = \sum_{i=1}^{n} (X_i - \mu)^2 - n (\bar{X} - \mu)^2 \tag{14}$$

(14) の両辺の期待値をとり、右辺第 1 項に前提、第 2 項に (7) を使う。

$$E\left[ \sum_{i=1}^{n} (X_i - \bar{X})^2 \right] = \sum_{i=1}^{n} E\big[(X_i - \mu)^2\big] - n \, E\big[(\bar{X} - \mu)^2\big] = n \sigma^2 - n \cdot \frac{\sigma^2}{n} = (n - 1) \sigma^2 \tag{15}$$

(15) は (2) そのものなので、両辺を $n - 1$ と $n$ で割って (1) が成り立つ。

• 使った仮定は「期待値と分散が等しい」「$i \ne j$ で $E[(X_i - \mu)(X_j - \mu)] = 0$」の 2 つだけなので、独立でなくても無相関なら成り立つ
• 直感的には、$n$ 個のデータのうち 1 個分の情報を $\bar{x}$ を決めるのに使ったので、ばらつきを測るのに残るのは $n - 1$ 個分。これを自由度という
• 不偏は「取り直しの平均が真の値に一致する」という性質で、1 回ごとの見積もりが標本分散より真の値に近いことまでは意味しない
• $s^2$ は不偏でも、その平方根 $s$ は母標準偏差 $\sigma$ の不偏な見積もりにはならない

例

母集団が「0 か 2 が確率 1/2 ずつ出る」（$\mu = 1$、$\sigma^2 = 1$）とき、2 個取る標本は 4 通りで、どれも確率 1/4。

標本	$\bar{x}$	標本分散 $\hat{\sigma}^2$	不偏分散 $s^2$
(0, 0)	0	0	0
(0, 2)	1	1	2
(2, 0)	1	1	2
(2, 2)	2	0	0
4 通りの平均		0.5	1

標本分散は平均すると 0.5 で真の値の半分、不偏分散は平均するとちょうど 1 になる。