母分散の不偏推定量

母平均が $\mu$、母分散が ${\sigma }^2$ の母集団から取り出した標本データ $\mathbf{x}=(x_1,x_2,\cdots ,x_n)$ から 母分散の不偏推定量=不偏分散 $s^2$ を求めます。

参照しました資料は https://qiita.com/DeepMata/items/ee9547e154fefd6e952c です。

「 ${ϵ}_i=x_i-\mu$ 」かつ 「 $i\ne j$ のとき ${ϵ}_i$ と ${ϵ}_j$ は独立」と前提すると、$$\mathrm{E}\left({ϵ}_i\right)=0,\mathrm{V}\left({ϵ}_i\right)={\sigma }^2=\mathrm{E}\left({ϵ}_i^2\right)$$ さらに、$$\overline{ϵ}={\displaystyle \frac{1}{n}}{\displaystyle \sum {ϵ}_i}$$ と置くと$$\overline{x}=\overline{ϵ}+\mu$$となるため、 $$\begin{array}{rcl}\mathrm{E}\left({(x_i-\overline{x})}^2\right)& =& \mathrm{E}\left({(({ϵ}_i+\mu )-(\overline{ϵ}+\mu ))}^2\right)\\ & =& \mathrm{E}\left({({ϵ}_i-\overline{ϵ})}^2\right)\\ & =& \mathrm{E}\left({({ϵ}_i-{\displaystyle \frac{1}{n}}{\displaystyle \sum _{i=1}^n{ϵ}_i})}^2\right)\\ & =& \mathrm{E}\left({({ϵ}_i-({\displaystyle \frac{1}{n}}{ϵ}_i+{\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j}))}^2\right)\\ & =& \mathrm{E}\left({({ϵ}_i-{\displaystyle \frac{1}{n}}{ϵ}_i-{\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j})}^2\right)\\ & =& \mathrm{E}\left({({\displaystyle \frac{n-1}{n}}{ϵ}_i-{\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j})}^2\right)\\ & =& \mathrm{E}({\left({\displaystyle \frac{n-1}{n}}{ϵ}_i\right)}^2+{\left({\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j}\right)}^2-2\left({\displaystyle \frac{n-1}{n}}{ϵ}_i\right)\left({\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j}\right))\end{array}$$ ここで右辺の、$$-2\left({\displaystyle \frac{n-1}{n}}{ϵ}_i\right)\left({\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j}\right)$$ の過程に現れる $\left({ϵ}_i{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j}\right)$ が $\mathrm{E}\left({ϵ}_{\mathrm{i}}{ϵ}_{\mathrm{j}}\right)=0$ であるため、$$-2\left({\displaystyle \frac{n-1}{n}}{ϵ}_i\right)\left({\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j}\right)=0$$となり、 $$\begin{array}{rcl}\mathrm{E}\left({(x_i-\overline{x})}^2\right)& =& \mathrm{E}({\left({\displaystyle \frac{n-1}{n}}{ϵ}_i\right)}^2+{\left({\displaystyle \frac{1}{n}}{\displaystyle \sum _{j=1,j\ne i}^n{ϵ}_j}\right)}^2)\\ & =& {\left({\displaystyle \frac{n-1}{n}}\right)}^2\mathrm{E}\left({ϵ}_i^2\right)+{\displaystyle \frac{1}{n^2}}{\displaystyle \sum _{j=1,j\ne i}^n\mathrm{E}\left({ϵ}_j^2\right)}\\ & =& {\left({\displaystyle \frac{n-1}{n}}\right)}^2{\sigma }^2+{\displaystyle \frac{1}{n^2}}{\displaystyle \sum _{j=1,j\ne i}^n\mathrm{E}\left({ϵ}_j^2\right)}\\ & =& {\left({\displaystyle \frac{n-1}{n}}\right)}^2{\sigma }^2+{\displaystyle \frac{1}{n^2}}(n-1){\sigma }^2\\ & =& ({\left({\displaystyle \frac{n-1}{n}}\right)}^2+{\displaystyle \frac{1}{n^2}}(n-1)){\sigma }^2\\ & =& \left({\displaystyle \frac{n^2-2n+1+n-1}{n^2}}\right){\sigma }^2\\ & =& \left({\displaystyle \frac{n^2-n}{n^2}}\right){\sigma }^2\\ & =& \frac{n-1}{n}{\sigma }^2\end{array}$$

よって、 $${\displaystyle \frac{1}{n-1}}\mathrm{E}\left({(x_i-\overline{x})}^2\right)={\displaystyle \frac{1}{n}}{\sigma }^2={\displaystyle \frac{1}{n}}\mathrm{E}\left({(x_i-\mu )}^2\right)$$ シミュレーションで母分散の不偏推定量(不偏分散)を確認します。

$\mathrm{N}(0,3)$ に従う母集団( N=10000 )から 1000組 のサンプル( n=20 )を生成し、それぞれの組の「不偏分散(分母は n-1 )」と「分母を n とした場合の分散」のベクトル(それぞれ v1 と v2 )を作成します。

始めに母分散 ${\sigma }^2$ を確認します。

set.seed(20240630)
v1 <- v2 <- vector()
N <- 10000
X <- rnorm(N, mean = 0, sd = 3)
n <- 20
for (i in seq(1000)) {
  x <- sample(x = X, size = n, replace = T)
  v1[i] <- sum((x - mean(x))^2) / (n - 1)
  v2[i] <- sum((x - mean(x))^2) / n
}
sum((X - mean(X))^2) / N

[1] 9.150467

続いて分母を n-1 とした不偏分散のベクトルの平均値等を確認します。

summary(v1)

   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
  2.055   6.832   8.777   9.174  11.027  23.471 

最後に分母を n とした場合の分散のベクトルの平均値等を確認します。

summary(v2)

   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
  1.952   6.491   8.338   8.716  10.476  22.297 

以上です。