1702632035
实验对象是1187位肥胖人士。实验人员先给他们服用了4个星期的安慰剂，并将不愿按时服药的人剔除。这样就解决了不合作者的问题，共剩下892名实验对象。实验人员把这些人随机分配到奥利司他组或安慰剂组，安排他们食用减肥餐。这项减肥计划进行一年后，还剩下576位实验对象愿意继续参与。平均来说，奥利司他组的每个实验对象比安慰剂组多减了3.15公斤的体重。该计划又进行了一年，这一年的重点是保持住体重不反弹。第二年的实验结束后，还剩下403位实验对象，是实验开始时的892人的45%。奥利司他组再一次打败了安慰剂组，每个人的体重平均减少了2.25公斤。
1702632036
1702632037
有那么多实验对象退出，结果还会可靠吗？两组的整体退出率很接近：奥利司他组是54%，安慰剂组是57%。实验对象退出实验的原因和处理方式有关吗？安慰剂组的实验对象通常因体重没有减少而退出，这对奥利司他组不利，因为到研究结束时仍留在安慰剂组的人，可能是那些只要肯吃减肥餐就能减肥的人。研究者仔细检视了所有退出者的资料，发现两组退出者减轻的体重都比留下的人少，但经过细致的统计后却发现差别很小。这样的实验结果不具有统计学显著性。
1702632038
1702632039
1702632040
1702632041
1702632042
“长江一号，你负责挠兔子的头；长江二号，你设法混入临床试验小组，然后半颗药也不要吃；长江三号，你想办法去参加一个实验，然后中途逃跑。”
1702632043
1702632044
实验的结论可以推广到现实生活中吗？
1702632045
1702632046
设计完善的实验可以告诉我们，解释变量的改变将会引起反应变量的改变。说得更明确一点儿，它告诉我们的是，在这个实验的特定环境下，发生在特定实验对象身上的事。但我们想要的不仅是这些。我们希望能够证明，我们教数学的新方法能使一般中学生都学得更好，或者我们的新药对于大多数病人来说都比安慰剂有效。究竟我们能不能把实验结论，从一群实验对象推广到更大的群体中呢？
1702632047
1702632048
首先要确定的是，我们的实验结论有统计学显著性，也就是说，证据强大到仅靠机会很难发生。这很重要，但它是技术上的细节，参与实验的统计学家会帮我们确认这一点。比较严重的威胁是，实验中的处理方式、实验对象或者实验环境也许不切实际。我们来看几个例子。
1702632049
1702632050
例5 团队合作的心理学实验
1702632051
1702632052
一位心理学家想研究失败和挫折对一个工作团队成员间的关系有何影响。她将学生组成一个团队，带他们到心理实验室玩一种团队合作游戏。游戏被动了一些手脚，他们总是会输。这位心理学家通过单向窗，观察了一整晚学生玩游戏的情况，并且记录下他们的行为变化。
1702632053
1702632054
在实验室里玩很快就会结束而且赌注很小的游戏，相比开发了好几个月但测试结果总有问题，以至于最后被公司放弃的产品，两者的差别很大。学生在实验室里的行为能给我们提供多少有效信息，帮助我们了解“一个产品开发失败的工作团队的行为”呢？
1702632055
1702632056
如果心理学家的目标是要对“职场中的挫折对于团队合作的影响”得出结论，那么例5中的实验对象（知道自己是实验对象的学生）、处理方式（被动了手脚的游戏），以及环境（心理实验室）都很不切实际。虽然心理学家尝试设计比较切合实际的实验来研究人的行为，但是实验环境和现实情况的差距仍然使得心理学实验的用处有限。
1702632057
1702632058
例6 日间看护的效用
1702632059
1702632060
政府是否应该为低收入家庭的学龄前孩子提供日间看护？如果这一举措有助于避免那些孩子日后中途辍学并在长大后找到较好的工作，而且政府也会通过少支付福利费用和增加税收筹到一笔钱，那么即便那些只关心政府支出的人也可能会支持这项政策。卡罗莱纳启蒙者计划从1972年起跟踪研究了一群儿童。
1702632061
1702632062
卡罗莱纳启蒙者计划是一项实验，实验对象是111名1972年健康的北卡州教堂山的低收入黑人家庭的婴儿。这些孩子得到了免费的营养品和社区工作者的帮助，实验人员还随机选择了大约一半孩子参与一个密集的学前教育项目。这项实验比较了这两种处理方式的效果。在超过30年的跟踪中，实验人员记录下很多反应变量，包括课程测试分数、大学录取率和就业率。
1702632063
1702632064
这项费用高昂的长期实验确实表明，日间看护计划给这些孩子日后的生活带来了明显的好处。这种日间看护的质量非常高：有很多高素质的人和父母参与，在很小的年龄就参与丰富的活动，每个孩子每年的花费约为1.1万美元。社会不太可能支持政府为所有低收入家庭的孩子支付如此高的成本，所以该实验有点儿不切实际。这里有一个需要回答的大问题：究竟什么样的日间看护才能真正帮助孩子们在日后的生活中获得成功？
1702632065
1702632066
例7 实验对象是不是得到了良好的照顾？
1702632067
1702632068
医学实验应该是切合实际的吧？毕竟实验对象都是真正的病人，他们在真正的医院里接受真正的治疗。
1702632069
1702632070
不过即使在这种状况下，仍然存在一些问题。参与医学临床试验的病人可以得到更好的医疗护理，即使被分配到安慰剂组，也会得到比普通病人更好的照顾。一是因为他们的医生是研究此种病症的专家，所以他们会得到更好的治疗；二是因为有人提醒，所以他们更能做到按时服药。除了实验组疗法和控制组疗法的不同之外，临床试验对所有实验对象提供“相同的照顾”，或者说“对所有实验对象提供最好的照顾”。结果是，当把新疗法用在普通病人身上时，效果也许不如临床试验的效果好。在临床试验中疗效胜过安慰剂的疗法，正式投入使用时疗效多半也会胜过安慰剂，但是实验结果中的治愈率或度量疗效的其他指标可能会更乐观。
1702632071
1702632072
在实验完全不切合实际时，实验数据无法告诉我们，实验结论是否具有推广价值。实验人员如果想把实验结果从实验室中的学生推广至真实世界中的上班族，就必须用他们“对人的行为的了解”来说服大家，而不是只用数据。要想把实验结果从实验室中的老鼠推广至真实世界中的人，将会难上加难。因此，即使实验设计的逻辑非常有说服力，仅靠一个实验也不可能让人完全信服。新发现必须在不同环境中经过多次实验的检验，才能找到真正的适用范围。
1702632073
1702632074
实验能否产生有用的信息，以及能否让人信服，这不是由统计数据决定，而是由实验人员对实验主题所属领域的知识的掌握情况来决定的。避免产生隐性偏差所需要注意的一些细节，也依赖于实验人员对实验主题所属领域知识的了解。好的实验必须建立在统计原则和对研究领域的了解的基础上。
1702632075
1702632076
真实世界中的实验设计
1702632077
1702632078
我们见过的实验设计都遵循同样的模式：先对实验对象进行随机分组，组数和处理方法的数量相同，然后每组采用一种处理方法。这种设计模式叫作“完全随机化设计”（completely randomized design）。
1702632079
1702632080
完全随机化设计
1702632081
1702632082
在完全随机化设计的实验中，所有的实验对象都会被随机分配到某个组中，对应某种处理方式。
1702632083
1702632084
此外，到现在为止，我们所举的例子当中都只有一个解释变量（新药或者在线学习）。而完全随机化设计的实验可能有任意数目的解释变量。