1702632047
1702632048
首先要确定的是，我们的实验结论有统计学显著性，也就是说，证据强大到仅靠机会很难发生。这很重要，但它是技术上的细节，参与实验的统计学家会帮我们确认这一点。比较严重的威胁是，实验中的处理方式、实验对象或者实验环境也许不切实际。我们来看几个例子。
1702632049
1702632050
例5 团队合作的心理学实验
1702632051
1702632052
一位心理学家想研究失败和挫折对一个工作团队成员间的关系有何影响。她将学生组成一个团队，带他们到心理实验室玩一种团队合作游戏。游戏被动了一些手脚，他们总是会输。这位心理学家通过单向窗，观察了一整晚学生玩游戏的情况，并且记录下他们的行为变化。
1702632053
1702632054
在实验室里玩很快就会结束而且赌注很小的游戏，相比开发了好几个月但测试结果总有问题，以至于最后被公司放弃的产品，两者的差别很大。学生在实验室里的行为能给我们提供多少有效信息，帮助我们了解“一个产品开发失败的工作团队的行为”呢？
1702632055
1702632056
如果心理学家的目标是要对“职场中的挫折对于团队合作的影响”得出结论，那么例5中的实验对象（知道自己是实验对象的学生）、处理方式（被动了手脚的游戏），以及环境（心理实验室）都很不切实际。虽然心理学家尝试设计比较切合实际的实验来研究人的行为，但是实验环境和现实情况的差距仍然使得心理学实验的用处有限。
1702632057
1702632058
例6 日间看护的效用
1702632059
1702632060
政府是否应该为低收入家庭的学龄前孩子提供日间看护？如果这一举措有助于避免那些孩子日后中途辍学并在长大后找到较好的工作，而且政府也会通过少支付福利费用和增加税收筹到一笔钱，那么即便那些只关心政府支出的人也可能会支持这项政策。卡罗莱纳启蒙者计划从1972年起跟踪研究了一群儿童。
1702632061
1702632062
卡罗莱纳启蒙者计划是一项实验，实验对象是111名1972年健康的北卡州教堂山的低收入黑人家庭的婴儿。这些孩子得到了免费的营养品和社区工作者的帮助，实验人员还随机选择了大约一半孩子参与一个密集的学前教育项目。这项实验比较了这两种处理方式的效果。在超过30年的跟踪中，实验人员记录下很多反应变量，包括课程测试分数、大学录取率和就业率。
1702632063
1702632064
这项费用高昂的长期实验确实表明，日间看护计划给这些孩子日后的生活带来了明显的好处。这种日间看护的质量非常高：有很多高素质的人和父母参与，在很小的年龄就参与丰富的活动，每个孩子每年的花费约为1.1万美元。社会不太可能支持政府为所有低收入家庭的孩子支付如此高的成本，所以该实验有点儿不切实际。这里有一个需要回答的大问题：究竟什么样的日间看护才能真正帮助孩子们在日后的生活中获得成功？
1702632065
1702632066
例7 实验对象是不是得到了良好的照顾？
1702632067
1702632068
医学实验应该是切合实际的吧？毕竟实验对象都是真正的病人，他们在真正的医院里接受真正的治疗。
1702632069
1702632070
不过即使在这种状况下，仍然存在一些问题。参与医学临床试验的病人可以得到更好的医疗护理，即使被分配到安慰剂组，也会得到比普通病人更好的照顾。一是因为他们的医生是研究此种病症的专家，所以他们会得到更好的治疗；二是因为有人提醒，所以他们更能做到按时服药。除了实验组疗法和控制组疗法的不同之外，临床试验对所有实验对象提供“相同的照顾”，或者说“对所有实验对象提供最好的照顾”。结果是，当把新疗法用在普通病人身上时，效果也许不如临床试验的效果好。在临床试验中疗效胜过安慰剂的疗法，正式投入使用时疗效多半也会胜过安慰剂，但是实验结果中的治愈率或度量疗效的其他指标可能会更乐观。
1702632071
1702632072
在实验完全不切合实际时，实验数据无法告诉我们，实验结论是否具有推广价值。实验人员如果想把实验结果从实验室中的学生推广至真实世界中的上班族，就必须用他们“对人的行为的了解”来说服大家，而不是只用数据。要想把实验结果从实验室中的老鼠推广至真实世界中的人，将会难上加难。因此，即使实验设计的逻辑非常有说服力，仅靠一个实验也不可能让人完全信服。新发现必须在不同环境中经过多次实验的检验，才能找到真正的适用范围。
1702632073
1702632074
实验能否产生有用的信息，以及能否让人信服，这不是由统计数据决定，而是由实验人员对实验主题所属领域的知识的掌握情况来决定的。避免产生隐性偏差所需要注意的一些细节，也依赖于实验人员对实验主题所属领域知识的了解。好的实验必须建立在统计原则和对研究领域的了解的基础上。
1702632075
1702632076
真实世界中的实验设计
1702632077
1702632078
我们见过的实验设计都遵循同样的模式：先对实验对象进行随机分组，组数和处理方法的数量相同，然后每组采用一种处理方法。这种设计模式叫作“完全随机化设计”（completely randomized design）。
1702632079
1702632080
完全随机化设计
1702632081
1702632082
在完全随机化设计的实验中，所有的实验对象都会被随机分配到某个组中，对应某种处理方式。
1702632083
1702632084
此外，到现在为止，我们所举的例子当中都只有一个解释变量（新药或者在线学习）。而完全随机化设计的实验可能有任意数目的解释变量。
1702632085
1702632086
知识普及 元分析
1702632087
1702632088
对一个重要问题只做一次实验，很难因此下结论。通常实验人员会做多次实验，它们的环境不同，设计不同，质量也不一样。我们能不能把不同实验的结果整合在一起，当作一个整体的结论呢？这就是“元分析”（meta-analysis）的概念。当然，各个实验之间的差异，使得我们无法直接把结果拼凑在一起。统计学家会用更加复杂的方法来整合结论，比如，元分析曾被用在二手烟的影响，以及补习是否可以提高美国学术能力评估测试的分数这些问题的研究中。
1702632089
1702632090
例8 低脂肪食品标签会导致肥胖症吗？
1702632091
1702632092
低脂肪食品标签对于食品消费的影响有多大？是否贴上低脂肪食品标签，人们就会吃掉更多的点心？答案可能取决于标签上是否有该食品是低脂肪食品以及关于食用量的信息。一项以大学员工、研究生和本科生作为实验对象的大型实验研究了这个问题。在十几个午后时段，所有实验对象都要在学校剧场里看60分钟电视节目，然后给节目打分。他们还被告知由于时间较晚，每个人会得到一瓶720毫升的冰水和一袋由受学生欢迎的校园餐厅Spice Box提供的格兰诺拉麦片，他们可以自己决定食用量。每名实验对象都拿到了一袋贴有3.25英寸×4英寸彩色标签的密封食品，上面注明这是一袋含有640卡路里热量（重量为160克）的格兰诺拉麦片。实验人员随机分配给实验对象的密封食品袋的不同之处在于，一种的标签上有“普通落基山格兰诺拉麦片”字样，另一种的标签上有“低脂肪落基山格兰诺拉麦片”字样。另外，有的标签上写着“内含一次食用量”、“内含两次食用量”，或者未注明食用量。当实验对象离开剧场时，他们被问及拿到的密封食品袋里的麦片是多大的食用量。在实验对象不在场的情况下，实验人员称了每一袋麦片的重量。实验对象的回答和称量结果是反应变量。
1702632093
1702632094
这个实验中有两个解释变量：脂肪含量，两种；食用量，3种。这可以组合成6种处理方式，见图6–1。
1702632095
1702632096
