1701039321
这个例子中主要的技巧在于使用了有限的样本——也就是说数据不够充分，但对多克斯公司的人来说却是恰到好处。如果你看见小字印刷的部分，你会发现参加测试的用户仅有12人。（你还得感谢多克斯公司给了你这个冒险的机会。有些广告商会直接略去这些信息，就连最资深的统计学家也猜不透他们到底使用的是哪种诡计。多克斯公司使用的12人样本还不算太糟。几年前，市场上出现过一种“科尼斯博士”牌的牙粉，该产品声称“在治疗龋齿方面效果显著”。该产品中含有尿素，实验证明尿素对治疗龋齿的确有效。但是，这个实验的结果先入为主，而且只做了6个个案测试，这使得整个实验成了一个无稽之谈。）
1701039322
1701039323
但是让我们回过头看看，多克斯公司如何轻而易举地就做出了一个毫无破绽的大字标题，还附有权威证明。让一个小组的人数清自己的蛀牙数量，然后坚持在6个月内使用多克斯牙膏，这必然会出现下列三种情况的其中之一：蛀牙明显增多、明显减少和没有变化。如果得出第一种或第三种结果，多克斯公司就要把这个数据归档（放到看不见的某个地方），然后接着实验。在机缘巧合之下，他们迟早都会得出一个重大成果，这个成果值得登报，甚至用整版广告刊出。无论测试者使用的是多克斯牙膏或是小苏打，哪怕用的还是他们以前的洁牙剂，都会出现这个结果。
1701039324
1701039325
使用规模较小的实验小组的关键意义在于：如果实验组的规模过大，那么碰巧之下产生的结果会是微不足道的，甚至不值得用大字标题刊出。试想一个只减少了2%蛀牙的牙膏销量能有多好？
1701039326
1701039327
在样本规模很小的情况下，怎样才能在巧合之下得出一个说明不了任何问题的结果？你可以亲自动手做一个花费无几的小实验来验证一下。抛出一个硬币，有几次它落地时会头像朝上？大家都知道，这个概率当然是50%。
1701039328
1701039329
那么，让我们来检验一下。刚才我抛了10次硬币，其中有8次头像朝上，这证明了抛硬币时头像朝上的可能性会有80%。好吧，牙膏的统计数据也是如此。现在，你自己试试。你也许会得到一个一半对一半的结果，也许你不会；你的结果很可能像我的一样，远非一半对一半这么简单。但如果你有足够耐心能抛上1 000次硬币，你多半（尽管不一定）就能得出一个非常接近50%的结果——这个结果才是最真实的概率。只有试验的样本数目足够庞大时，平均数定律才会是一个有用的描述或猜测。
1701039330
1701039331
1701039332
1701039333
1701039334
1701039335
1701039336
1701039337
那么，多少样本就够了呢？这个问题很微妙。这取决于你抽样研究的样本人数和种类。而且有时，样本中单位的数量看上去已经很多，但实际却不足。
1701039338
1701039339
这有一个很好的例子来证明这个结论，这个例子与几年前的小儿麻痹疫苗试验有关。这个试验的规模非常大，几乎与医学实验的规模相当：一个地区的450名儿童注射了小儿麻痹疫苗，另有680名儿童作为对照没有接受注射。不久之后，该地区出现了传染病。注射过疫苗的儿童中没有一个患上小儿麻痹症。
1701039340
1701039341
但是，对照组中也没有儿童患病。在设立这个实验项目时，实验者忽视或者假装不知道一个事实——小儿麻痹症的发病率很低。在一般情况下，这么大规模的群体中只可能出现两例患病者。因此，从一开始这个实验就注定毫无意义。如果想获得任何有意义的结论，实验组需要用比这个群体多15~20倍的儿童做样本。
1701039342
1701039343
许许多多转瞬即逝的医学发现都是这样产生的。正如一位医师所说：“赶紧使用新的方法，要不就迟了。”
1701039344
1701039345
1701039346
1701039347
1701039348
这种情况并非医学界独有。由于受到的公众压力过大且新闻报道过于草率，医学治疗经常未经证实就被报道，尤其是在公众需求很大而且数据背景模糊不清时。曾一度非常流行的流感疫苗和最近的抗组胺剂便是如此。许多无法治本的“治疗措施”很快就被广泛使用，但事实上，他们连疾病的原理都还没弄清楚，也缺乏一定的逻辑。其实，如果时间足够，一场感冒自己就会痊愈。
1701039349
1701039350
你要怎样做才能不被毫无意义的结论愚弄？难道每个人都必须成为统计学家，亲自分析数据吗？没那么糟糕，这有一种简单易懂的显著性检验方法。这种方法能够证明一个实验数据在很大程度上代表的是真实的结果，而非机缘巧合之下得出的。这就是要看看没有被透露的小小数据——假设你是个外行，不懂其中的奥秘，但如果你对这一数据能有所留意，你就能看穿这种别有用心的手段。
1701039351
1701039352
如果你的信息来源能将显著性水平告知与你，你就会更清楚自己的立场。这个显著性水平就是我们最常说的“概率”。好比人口普查局会告诉你，他们以19/20的概率保证数据是非常准确的。对于大多数用途而言，5%的显著性水平已经足够。而对于某些用途而言则需要1%的显著性水平，因为这意味着99%的概率证明了一个显著的差异或诸如此类的东西是真实的。有时，我们将类似这样的东西描述为“十拿九稳”。
1701039353
1701039354
此外，还有一种没有被透露的数据，缺了它也会影响数据的准确性。这个数据能根据已给出的平均数告知我们误差的范围。一般情况下，不管是均值还是中位数，明确限定还是未限定的平均数都会过分简化事实，这比毫无意义还要糟糕。对某事一无所知往往要好过知道错误信息，只知道个皮毛也许会十分危险。
1701039355
1701039356
比如在美国，有太多住房被规划为“适宜平均人口为3.6人的一般家庭居住”。事实上，这就意味着有3人或4人的家庭需要两间卧室。尽管声称是“一般家庭”，但实际上这种规模的家庭只占少数。“我们按照一般情况建造住房。”建筑商们这样说。其实，他们忽视了比这规模更大或更小的多数情况。结果在有些地区，带有两间卧室的房屋建造过多，而更大或更小的房子却建造太少。因此，这种误导人的不完整数据会导致严重的后果。对此，美国公共卫生协会（The American Public Health Association）表示：“如果透过算数平均数来看实情，我们就会发现3人家庭或4人家庭总共占全美国家庭的45%，而1人家庭和2人家庭占35%，4人以上家庭则占20%。”
1701039357
1701039358
1701039359
1701039360
1701039361
在精确到令人信服的权威数据3.6面前，常识在某种程度上却缺失了。这个3.6竟然战胜了人们从观察中都能得出的事实（许多家庭规模很小，还有一部分家庭规模很大）。
1701039362
1701039363
在所谓的“格塞尔标准”（Gesell’s Norms）中，也有这种被遗漏的小小数据，它以相同的方式给父母们造成了痛苦。如果让父母在某份报纸的某部分看到“小孩在几个月时应当学会坐直”，他们马上就会对比自己的孩子。假如孩子没有在特定年龄坐起来，父母就会认为自己的孩子“智力迟钝”“低智能”，或是产生类似的令人烦恼的想法。因为一半的孩子注定在这个年龄坐不直，这一半孩子的父母就很不高兴。当然，从数学的角度来看，另外一半孩子的父母会欣喜地发现他们的孩子“比较聪明”，这样高兴与不高兴的人数就扯平了。但是，假如不高兴的父母们以此来强迫自己的孩子遵从这个“标准”，这就会产生极其不良的影响。
1701039364
1701039365
1701039366
1701039367
1701039368
阿诺德·格塞尔（Arnold Gesell）博士以及他的方法并没有反映出所有情况。问题就出在信息过滤的过程中，从研究者开始，再由作者进行各种耸人听闻或消息不完全的描述，最后读者就很难发现这个过程中遗失的数据。如果“正常”和平均数都能标注上一个范围，那么就能避免许多不必要的误会。例如，父母们看到孩子达到了正常范围，他们就不会再为细微且没有意义的差异而烦恼。其实，几乎没有任何人能在任何方面达到绝对标准，就好比抛100次硬币，要得出50次正面和50次反面的结果几乎是不可能的。
1701039369
1701039370
搞不清“正常的”和“理想的”会让事情变得更糟。格塞尔博士只是陈述了一些观察所得的事实，而有些父母在读过书籍和文章后，就武断地认为如果孩子迟一天或一个月学会走路，那就一定是发育迟缓。