1701535417
1701535418
（8）对经济效益、社会地位、人身安全和其他因素的需求可能会影响到研究的结果。研究人员也是人，不是电脑，因此要他们做到百分百的客观是极其困难的。比如说，研究人员想通过他们的研究来发现某个特定结果，这样他们就会按照心中所想的来解释研究结果，以便能发现他们想要的结果。获得资助、职位或其他个人奖励，这些压力可能会最终影响到研究人员解读数据的方式。例如，一家制药公司出钱赞助一个项目，主要研究使用这家公司的药物来进行药物干预的结果，比其研究同样的药物但是受到与那家制药公司无关的资助，如联邦政府基金的资助，这项研究更倾向于得出较高比率的正面结果。
1701535419
1701535420
1701535421
1701535422
1701535423
科学研究作为证据
1701535424
1701535425
现在你发现，尽管研究证据有很多积极正面的特征，我们还是要避免过早地去拥抱研究结论。但是，你也不能仅仅因为有一丝疑云，就武断地抛弃一个建立在科学基础上的结论。“必然发生”常常只是个不可企及的目标，但并不是所有的结论都同样不可捉摸，我们应该时刻准备去拥抱其中某些结论，而抛弃其他一些结论。因此，当我们批判性地评价研究结论的时候，请小心不要犯这样的推理错误，在有些结论中强求确定性，而我们明明只能从中得出一些并不能否定这一结论的不确定性。我们把这一推理错误称为强求确定性谬误[2]（impossible certainty fallacy）。
1701535426
1701535427
评价科学研究的一些线索
1701535428
1701535429
将以下这些问题应用到科学发现中，以此来判断这些发现是不是可靠的证据。
1701535430
1701535431
（1）报告的资料来源的质量怎么样？通常情况下，最可靠的报告往往出自那些发表在由同行专家评定的期刊上的文章，在这些期刊中，一项研究结果只有被一系列相关专家评价过以后才会被接受。通常情况下，但也不总是这样，资料来源的声誉越好，研究设计也就越好。所以要竭尽全力找出资料来源的声誉如何。
1701535432
1701535433
（2）除了资料来源的质量外，交流中有没有其他的线索显示这项研究完成得很出色？比如，报告有没有详细说明这项研究有什么特别的过人之处？可惜，我们在流行杂志、报纸、电视报道和博客里遇到的绝大部分关于研究结果的报告都没有提供足够的细节来说明此项研究，以确保我们对于这项研究质量的评价。
1701535434
1701535435
（3）研究进行的时间离现在有多久，有没有理由让人相信研究结果可能会随着时间的流逝而发生改变？很多研究结果会随着时间的流逝而发生改变。例如，有关抑郁症、犯罪或者心脏病的起因在20世纪80年代可能和在2010年看起来大不相同。
1701535436
1701535437
（4）这项研究的结果有没有被其他的研究重复过？如果某一种联系总是在精密设计的研究中不断被重复并且总是前后一致地被发现——比如吸烟和癌症之间的联系——那么我们就有理由相信它，至少在那些不同意这一结论的人能提供较有说服力的证据来证明他们的观点之前，我们都会相信它。
1701535438
1701535439
（5）持论者在选择研究的时候是怎样精挑细选的？比如，有没有得出相反结论的相关研究被他忽略不计？研究人员是不是只选择那些支持他的观点的研究？
1701535440
1701535441
（6）有没有什么强势批判性思维的证据？作者或演说者对于先前那些支持他的观点的研究有没有表现出一种批判的态度？由于研究条件的限制，研究得到的大部分结论都需要进一步的证明。持论者有没有表现出要进一步加以证明的意愿？
1701535442
1701535443
（7）有没有理由让人蓄意要歪曲这项研究？我们要当心研究人员亟须找到特定结果的那些情况。
1701535444
1701535445
（8）研究的条件是不是人为制造的并因此遭到扭曲变形？记住一定要问一声：“研究进行的客观条件和研究者概括的情境到底有多少相似之处？”
1701535446
1701535447
（9）根据研究样本，我们概括的范围到底有多大？因为这个问题非常重要，我们将在下一部分深入讨论。
1701535448
1701535449
（10）研究人员所使用的调查报告、问卷调查、等级评定或其他测量结果有没有偏见或者歪曲的现象存在？我们应该相信研究人员想要测量的东西他们一定会测量得准确无误。但是片面的调查报告和问卷调查这一问题在科学研究中简直无孔不入，我们只有在后面部分详细加以讨论。
1701535450
1701535451
[1]“Lies, Damned Lies, and Medical Science”，November 2010，Atlantic Magazine.
1701535452
1701535453
[2]强求确定性谬误指认为一个研究结论如果不是百分百确定的话就应该被抛弃。
1701535454
1701535455
1701535456
1701535457
1701535458
学会提问（原书第10版） [:1701532936]
1701535459
学会提问（原书第10版） 样本能够代表整体吗
1701535460
1701535461
作者或演说者通常拿研究报告来支撑他们的概括性结论，也就是关于一般性事件（events in general）的断言。比如，“在本研究中，此例药物对75%的癌症患者治疗效果明显”并不是一个概括性的结论，而“此例药物可治愈胰腺癌”才是概括性的结论。我们对见到的很多公开发表的概括总结都需要做进一步的检查，看看有没有可能是过度概括（overgeneralizing）。下面让我们来看看是为什么。
1701535462
1701535463
首先，我们抽取样本的方式对判断我们能在多大范围内进行概括至关重要。能否从研究结果中进行概括主要取决于科研人员所研究的事件或人群的样本数量、覆盖范围和抽取的随机性。选取事件或人群进行研究的过程就叫做抽样（sampling）。
1701535464
1701535465
因为研究人员永远不可能对他们想概括的所有事件或人群无一例外地进行研究，他们必须要选择一些样本来做研究，但是有些抽样的方法比其他抽样方法更加可取。在你评价研究样本的时候，有几个重要的考虑因素必须要铭记在心。
1701535466