1702639961
当你看一项显著性检验的结果时，要特别注意样本大小。理由如下：
1702639962
1702639963
• 较大的样本会提高显著性检验的敏感度。如果我们抛硬币几十万次，则对于H0：p=0.5的检验往往会得到很小的P值（这枚硬币真实的p值是0.502）。检验结果并没有错（它找到了合理的证据，证明p的确不是0.5。）但是，它把这么小的差异找出来，实在没什么实用价值。一项发现可能具有统计学显著性，却没有实际意义。
1702639964
1702639965
• 另一方面，用小样本做的显著性检验敏感度较差。如果你抛硬币10次，在检验H0：p=0.5时，即使这个硬币真实的p=0.7，检验结果的P值也往往较大。这回检验仍然是正确的，因为只掷10次原本就不足以提供不利于零假设的合理证据。不具有统计学显著性并不代表效应不存在，而只能说我们没有找到合理的证据证明它。小样本常常会漏掉总体中确实存在的效应。
1702639966
1702639967
例2 抗抑郁药与安慰剂
1702639968
1702639969
凭借美国《信息自由法》，两位心理学家得到了美国食品药品监督管理局批准在1987~1999年得到最广泛使用的6种抗抑郁药的47项研究成果。最终，这两位心理学家发现，与安慰剂相比，这些抗抑郁药的疗效具有统计学显著性。尽管如此，他们又报告说抗抑郁药比安慰剂的疗效强18%，“但在临床治疗方面意义不大”。
1702639970
1702639971
不论总体的真实情况如何，不管是p=0.7还是p=0.502，观察值多一点儿，就可以让我们对p的值估计得更准些。若p不等于0.5，观察值越多就会给我们越多的证据，也就是得到较小的P值。因为统计学显著性会受到样本大小和总体参数真实值的强烈影响，所以它并不能告诉我们，一项效应有多大或实际上有多重要。如果我们取的样本小，大的效应（比如当零假设为p=0.5时，实际上p=0.7），常常产生不具有统计学显著性的数据。如果我们取的样本很大，则小的效应（比如p=0.502）也常常会产生具有统计学显著性的结果。我们回顾一下前文中的一个例子，看看样本大小如何影响统计学显著性。
1702639972
1702639973
例3 布冯伯爵抛硬币实验
1702639974
1702639975
布冯伯爵抛了4040次硬币，有2048次为正面朝上，正面朝上的样本比例是：
1702639976
1702639977
1702639978
1702639979
1702639980
伯爵抛的硬币是平衡的吗？假设如下：
1702639981
1702639982
H0：p=0.5
1702639983
1702639984
Ha：p≠0.5
1702639985
1702639986
1702639987
1702639988
1702639989
要进行显著性检验，先把样本结果标示在抽样分布上，这个抽样分布描述了在零假设成立时值的变化情况。图23-1复制了图22-2，它显示=0.507离0.5不算远，并不能当作反对p=0.5的一个好的证据。P值为0.37，使得这个结论看上去更精确。
1702639990
1702639991
1702639992
1702639993
1702639994
图23-1 当硬币平衡时，抛4040次硬币所得正面朝上比例的抽样分布。样本比例0.507不是不寻常的结果
1702639995
1702639996
1702639997
1702639998
1702639999
图23-2 抛一个平衡硬币1000次、4040次及100000次所分别得到的正面朝上比例的抽样分布。样本比例0.507在抛1000次或4040次的情况下很正常，但在抛100000次的情况下就非常稀奇
1702640000
1702640001
1702640002
1702640003
1702640004
假设布冯伯爵抛硬币1000次和100000次得到的结果是一样的：=0.507。当零假设为真时，的抽样分布的平均数必定是0.5，但它的标准差会随样本量n的增加而减小。图23-2展示了n=1000，n=4040和n=100000时的三种抽样分布。居中的那条就是图23-1里的正态曲线，只是刻度改变了，以便能够画出n=100000时那条又高又窄的曲线。看看=0.507在三条曲线下的位置，可以发现同一个结果会出乎意料地随样本量的不同二变化。
1702640005
1702640006
在n=1000时，P=0.66；当n=4040时，P=0.37；当n=100000时，P=0.000009。
1702640007
1702640008
想象一下抛一枚硬币1000次的情形，差不多有2/3的时间，你得到的正面朝上的比例与0.5的差距，会像布冯的0.507与0.5的差距那么大。可是，如果你抛硬币100000次，则几乎不会（概率为百万分之九）得到这样的结果。
1702640009
1702640010