为什么小学初中学的样本方差分母是 n,可到了大学学管理统计学的时候方差分母却是 n–1 呢?

关注者
625
被浏览
40009

34 个回答

谢邀。本来把这个问题重定向到为什么样本方差(sample variance)的分母是 n-1? - 数学这里的,但后来觉得这两个问题还是不太一样。

这个问题的关键在于,小学和初中学的并不是样本方差,而是总体方差。

总体方差的分母是N,样本方差的分母是(n-1).

举个例子:假如我现在得到了学校里某一个班级中每位同学的身高数值。

如果我想研究的是这个班级里同学的身高的方差,此时这个班级的同学作为总体,那么分母是N.

如果我想研究的是这所学校里同学的身高的方差,此时这个班级的同学作为样本,那么分母是(n-1).

=====================以下是细致一点的回答=====================

首先定义一下:

总体是在一个特定研究中所有感兴趣的个体的集合。描述总体的特性被称为参数

样本是从一个总体中选择出来的个体的集合,通常在研究中被期望代表总体。描述样本的特性被称为统计量

总体方差的公式是\sigma ^{2}=\frac{1}{N}\sum_{i=1}^{N}({x_{i}-\mu})^{2},其中\mu为总体平均数。

这个公式是在说什么呢?就是把每一个数据与总体平均数的差的平方加起来,再除以数据的个数。也就是说,这个公式算的是离差的平方的平均数。额,离差就是数据与平均数的差啦。

为什么要平方?因为我们要衡量的是离散程度(变异性),正方向偏离与负方向偏离都是偏离,不平方的话就抵消掉啦!

那为什么一定要是平方而不能是绝对值呢?看为什么用标准差而不是平均差来反映数据的离散程度? - 统计这里。

但方差对于变异性的测量基于距离的平方之上,所以我们定义标准差为:\sigma= \sqrt{\sigma ^{2}}=\sqrt{\frac{1}{N}\sum_{i=1}^{N }({x_{i}-\mu})^{2}}.

目前为止应该没什么问题,跟初中数学书上讲的都差不多…

当我们从总体中选取样本的时候,情况就不太一样了。

这时候我们做的事情是推理统计,即使用从有限的样本中得到的信息作出关于总体的一般结论。此时我们必须用样本统计量来估计总体参数。(记不得这两个词就看一下开头的定义…)

这个过程的基本假设是这个样本能够代表它所在的总体!

然而,样本的变化总是小于总体的变化,如下图:


又因为离差越大的数据对方差影响就越大(因为平方嘛)而样本变异性小于总体变异性,这就意味着如果我们按照计算总体方差的方法来计算样本方差,得到的统计量就会偏小!

如果一个样本统计量对相应总体参数的估计过高或者过低,那么这个样本统计量就被称为有偏误的统计量

所以,这样算出来的样本方差是有偏误的:s ^{2}=\frac{1}{n}\sum_{i=1}^{n}({x_{i}-M })^{2},其中M 是样本平均数。

为了校正这个偏误,我们必须对样本方差的计算方法进行调整。

问题来了,要调整到什么样子才能被称为没有偏误呢?

设想,我们从总体里取出一个大小为n的样本,计算方差。这个方差往往跟总体方差不一样,对吧?

我们再取一个大小为n的不同的样本,计算方差。这次的结果往往又会跟上次不一样,对吧?

如果我们把总体中所有可能取出的大小为n的样本的方差都算出来,然后计算出它们的平均数,这个平均数就被称为是样本方差的期望,记为E(s^{2}).

当样本方差的期望E(s^{2})等于总体期望\sigma^{2} 时,这个方差就是无偏的。

更一般地说,如果样本统计量的期望等于相应的总体参数值,那么这个样本统计量就是无偏的。

调整之后的样本方差公式为:s ^{2}=\frac{1}{n-1}\sum_{i=1}^{n}({x_{i}-M })^{2},其中M 是样本平均数。

我比较懒,就直接用书上的例子了:

一个N=6的总体:0,0,3,3,9,9,可以得出总体平均数\mu=4,方差\sigma^{2}=14 .

接下来,我们从这个总体里选出所有的n=2的样本,然后计算出每个样本的平均数和方差。计算方差的时候,我们用调整前和调整后的公式分别计算:


我们先来看样本平均数这一列。没有一个样本平均数等于总体平均数\mu=4,但是所有样本平均数的平均数(即样本平均数的期望)为36/9=4,所以这是一个无偏的统计量。

再来看用除以n得到的样本方差这一列。它们的平均数为63/9=7,而总体方差是\sigma^{2}=14 ,所以这是一个有偏的统计量。

最后来看除以(n-1)得到的样本方差这一列。尽管没有任何一个样本的方差恰好等于总体方差\sigma^{2}=14 ,但它们的平均数为126/9=14,所以这是一个无偏的统计量。

至于为什么调整成除以(n-1),这就是一个数学问题啦,具体的推导过程请看这个回答

所以,回到题主的问题:分母不同是什么原因呢?

因为一个是总体方差,一个是样本方差,它们是不同的东西呀╮(╯▽╰)╭

这篇回答献给那个正在学统计的小朋友=w=

那么就这样=w=

图片来源与参考资料:

Frederick J. Gravetter, Larry B. Wallnau.《行为科学统计(第七版)》.中国轻工业出版社
这样定义的样本的方差,它的期望就等于总体(样本空间、样本所有可能的取值)的方差,所以它可以反映整个样本空间的方差。(样本空间的方差这个说法不严谨,题主可能没系统地学过概率论所以不想再绕弯子了)
减1就是把样本的平均值也会随机涨落考虑进去了。

有很多很多个数据A_1 \sim  A_N是确定的常数,这时从总体的角度定义
均值
\mu=\frac{1}{N}\sum_{N}^{i=1}{A_i}
方差
\sigma^2=\frac{1}{N}\sum_{i=1}^{N}{\left( A_i-\mu\right)^2}
是没问题的

现在从这些A里有放回的随机抽取n个数X_1 \sim X_n,每个X取值是独立的。
这里的每个X取值是随机的,不确定的,它们的分布满足
期望
E\left(X_i\right)=\mu
方差
Var\left(X_i\right)=E\left(\left(X_i-\mu\right)^2\right)=\sigma^2

然后令
M=\frac{1}{n}\sum_{n}^{i=1}{X_i}
S^2=\frac{1}{n-1}\sum_{i=1}^{n}{\left( X_i-M\right)^2}
M和S也是随机的,不确定的。
下面是一些概率论演算,证明S^2的期望等于σ^2。

======================以下内容没学过概率论的可以不看======================
首先由于每个X的独立性
Var\left(M\right)=\left(\frac{1}{n}\right)^2 Var\left(\sum_{i=0}^{n}{X_i} \right)=\left(\frac{1}{n}\right)^2 \sum_{i=0}^{n}{Var\left(X_i\right)}=\frac{\sigma^2}{n}
注意
\left(n-1\right)S^2=\sum_{i=1}^{n}{\left(\left( X_i-\mu\right)-\left(M-\mu\right)\right)^2} =\sum_{i=1}^{n}{\left(X_i-\mu\right)^2}-2\left(M-\mu\right)\sum_{i=1}^{n}{\left(X_i-\mu\right)}+n\left(M-\mu\right)^2
又因为
\sum_{i=1}^{n}{\left(X_i-\mu\right)}=n\left(M-\mu\right)
所以
\left(n-1\right)S^2=\sum_{i=1}^{n}{\left(X_i-\mu\right)^2}-n\left(M-\mu\right)^2
再来算算
\left(n-1\right)E\left(S^2\right)=\sum_{i=1}^{n}{E\left(\left( X_i-\mu\right)^2\right)}-nE\left(\left(M-\mu\right)^2\right)=\sum_{i=1}^{n}{Var\left(X_i\right)}-nVar\left(M\right)=\left(n-1\right)\sigma^2

E\left(S^2\right)=\sigma^2
为什么?