作者：薛定饿了么
链接：https://www.zhihu.com/question/30272097/answer/472809487
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

Question:1.什么是显著性检验？ 2.为什么要做显著性检验？ 3.怎么做显著性检验？（阅读本回答预计用时9分钟）

后文将对该三个问题作出解释，最后推荐一个CrashCourse的统计学扫盲课程

一.什么是显著性检验？

在统计学中，显著性检验是“统计假设检验”（Statistical hypothesis testing）的一种，显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。“统计假设检验”这一正名实际上指出了“显著性检验”的前提条件是“统计假设”，换言之“无假设，不检验”。在使用显著性检验之前必须在心里明白自己的统计假设（无效假设，也称为零假设）是什么，否则显著性检验就是“水中月，镜中花”。

一般来说显著性检验会先对科研数据做一个无效假设，然后用检验来检查作出的假设是否正确。

无效假设：数据结果之间本身不存在显著性差异。（差异：我不是，我没有，你看错了）

---

若原假设为真，而检验的结论却劝你放弃原假设。此时，我们把这种错误称之为第一类错误。通常把第一类错误出现的概率记为α

若原假设不真，而检验的结论却劝你采纳原假设。此时，我们把这种错误称之为第二类错误。通常把第二类错误出现的概率记为β

通常只限定犯第一类错误的最大概率α, 不考虑犯第二类错误的概率β。我们把这样的假设检验称为显著性检验，概率α称为显著性水平。显著性水平是数学界约定俗成的，一般有α =0.05,0.01的情况。代表着显著性检验的结论错误率必须低于5%或1%

在目前的统计学中，通常将（阈yǜ值）发生几率小于5%的事件称之为“不可能事件”，在不同的领域内该阈值（P）有其特定的统计意义和不同的取值

（以上解释了显著性检验与统计假设检验的关系）

统计假设检验是什么?
所谓统计假设检验就是事先对总体（随机变量）的 参数或 总体分布形式做出一个假设，然后利用样本信息来判断这个假设是否合理。而把只限定第一类错误概率的统计假设检验就称之为显著性检验。在上例中，我们的假设就是一种显著性检验。 因为方差检验不适用于估计参数和估计总体分布，而适用于检验试验的两个组间是否有差异。而方差检验正是用于检测我们所关心的是这两个集合（两个分布）的均值是否存在差异。

---

二.为什么要做显著性检验?

为了方便接下来的解释，这里假设一个问题场景。

王先森开了一家公司，该公司分别在北京和杭州开设了分公司。现在存在下列数据作为两个分公司的销售额，样本集合中的每一个数代表着一年中各个月的公司销售额。

(一共12个月的数据,强迫症不用数了)

北京分公司B = {23,25,26,27,23,24,22,23,25,29,30,32}

杭州分公司H = {24,25,23,26,27,25,25,28,30,31,29,28}

王先森想要知道两个公司的销售额是否有存在明显的差异（即是否存在北京分公司销售额>杭州分公司销售额，抑或反之）以便对接下来公司的战略业务调整做出规划。下属们知道王老板的难处，纷纷建议“只需要求平均值就知道哪个分公司的销售额更大了”。但是作为拥有高学历的王先森知道“我们生活在概率的世界之中”。那也就意味着，平均值并不能够说明什么问题，即便杭州分公司的销售额平均值大于北京分公司的销售额平均值仍然不能说明杭州分公司的销售额一定就大于北京分公司的销售额，因为“这样一种看似存在的大于关系实质上是偶然造成的而并不是一种必然”。

(有数学直觉的人都知道平均数并不像以前小学老师讲的那样能简单粗暴解决这个大问题)

---

三.怎么做显著性检验？

王先森根据零假设的定义，作出“两个分公司的销售额没有显著差异”的假设，最后王先森计算得出，方差检验的p 值= 0.459，那也就意味着，虽然杭州分公司的年平均销售额26.75大于北京分公司的销售额25.75，但是实质上，两个分公司的销售额并没有明显的差异。

销售额统计
分公司 个案数 平均值 标准差 标准误差平均值
1 12 25.75 3.166 .914
2 12 26.75 2.491 .719

（相信此时的你心中有万千草泥马奔过：p值是什么东西？为什么p=0.459意味着销售额没有明显差异？方差检验是怎么做到的？不要急，不要慌,我们一手一个慢动作）

• “无假设，不检验”，王先森做了什么样的假设（Hypothesis）？

由于王先森想要知道两个公司的销售额是否有存在明显的差异 ，所以他的无效假设就是“样本集B（北京分公司）和样本集H（杭州分公司）不存在显著性差异，换言之这两个集合没有任何区别（销售额间没有区别）！”。那么问题来了，为什么王先森要假设这两个样本集之间不存在任何区别，而不是假设这两个样本集存在区别。因为这个假设（Hypothesis）正是方差检验的原假设（null hypothesis）。问题又来了，什么是原假设。所谓原假设是数学界为了方便讨论而默认的“原始的假设”。没有什么reason可言，这是约定好的。

无效假设：是对研究总体提出一个假想目标， 所谓“无效”是指处理效应与假设值之间没有真实差异，试验结果所得的差异乃误差所致。国内多译作 零假设

• p值是什么东西？

具体求解该过程需要利用到方差分析的方法。

方差分析(Analysis of Variance,简称ANOVA),又称“变异数分析”,是R.A.Fisher发明的,用于两个及两个以上样本均数差别的显著性检验。

其中方差分析的结果中将给出p值，p值是衡量控制组与实验组差异大小的指标。

在显著性水平α =0.05的情况下，p>0.05接受原假设，p值＜0.05拒绝原假设。我们的原假设是样本集B和样本集H间不存在显著性差异，但是由于p=0.459＞0.05，所以接受原假设，即样本集B和样本集H间不存在显著性差异。如果这里的p值小于0.05，那么就要拒绝原假设，即集合B和集合H间存在显著性差异。

对于p的另一种角度：这个情境下的 p=0.459，意思就是说 偶然因素导致数据发生这种差异的概率是0.459，跟0.05一比大好多。那么就是说偶然因素很有可能导致了这种差异，所以数据本身之间是不存在差异的。【引申到比如p=0.02<0.05，偶然因素导致差异的概率是0.02，不太可能是偶然因素使得坏，所以得出结论是数据本身之间存在差异】

在这个问题下可以根据显著性水平α和0.05的关系由法则"大同小异"得出是否存在显著差异。

"大同":显著性水平α>0.05,王先森的两家分公司销售额大致相同,不存在显著性差异。

"小异":显著性水平α<0.05,王先森的两家分公司销售额不相同,存在显著性差异。

• 方差检验具体做法似乎超出题主的问题了，这里只以通俗语言理解显著性检验,大家要是有必要的话我再修改。
• 想要进一步理解假设检验，可以参考Crash Course的统计学课程↓

https://www.bilibili.com/video/av20624185?p=22​www.bilibili.com