1701024555
1701024556
问题1：如果某人不是恐怖分子，那么他出现在脸谱网黑名单上的概率是多少？
1701024557
1701024558
问题2：如果某人出现在脸谱网黑名单上，那么他不是恐怖分子的概率是多少？
1701024559
1701024560
这两个问题有不同的答案，因此它们不是同一个问题。我们已经知道，第一个问题的答案约为1/2 000，第二个问题的答案是99.99%，而我们真正想知道的是第二个问题的答案。
1701024561
1701024562
这两个问题所考虑的量被称作“条件概率”（conditional probability），即“如果Y，则X的概率为……”让我们搞不清楚的是，“如果Y，则X的概率为……”与“如果X，则Y的概率为……”是不同的。
1701024563
1701024564
是不是有点儿熟悉的感觉啊？这正是我们在归为不可能法上面临的问题。p值是解决问题的关键，它指的是如果零假设是正确的，那么所观察到的实验结果发生的概率。
1701024565
1701024566
但是，我们想知道的其实是另一个条件概率：
1701024567
1701024568
如果我们观察到某种实验结果，则零假设正确的概率是多少？
1701024569
1701024570
我们把第二个概率与第一个概率弄混淆了，这正是错误出现的原因。这不是科学研究特有的现象，而是随处可见。公诉人转向陪审团宣布：“无辜人的DNA（脱氧核糖核酸）与犯罪现场发现的DNA样本匹配的概率只有五百万分之一，是的，五百万分之一。”此时，他回答的是问题1，即无辜的人是罪犯的概率是多少？但是，陪审团的工作是回答问题2，即被告其实是无辜的概率是多少？关于这个问题，DNA无法回答。
1701024571
1701024572
脸谱网黑名单的例子清楚地说明我们为什么不仅需要关注好的算法和蹩脚的算法，还要考虑更多的问题。如果你怀孕了，而且塔吉特公司知道你怀孕了，这种情况会令人不安。但是，如果你不是恐怖分子，而脸谱网却认为你是恐怖分子，这样的情况更糟糕、更令人不安。
1701024573
1701024574
你也许认为，脸谱网绝不会编造恐怖分子嫌疑人（或者逃税人、恋童癖者）名单，即使他们真的有这样的名单，也不会公之于众。他们为什么要这样做？难道能从中赚钱吗？也许是的。但是，美国国家安全局可不会管人们有没有登录脸谱网，他们肯定会收集美国境内所有人的数据。黑名单这样的东西肯定存在，除非你认为他们记录海量的通话数据，目的是为了告诉电话公司哪些地方需要增设信号塔。大数据没有魔力，不可能告诉联邦调查局谁是恐怖分子、谁不是恐怖分子。但是，给某些人加上标记，认为他们更加危险和“值得关注”，然后生成一个黑名单，这些工作并不需要魔力。这份名单上的绝大多数人与恐怖主义没有任何关系，你有多大信心认为自己不在这份名单上呢？
1701024575
1701024576
心灵感应研究与贝叶斯推理
1701024577
1701024578
为什么会有恐怖分子黑名单这种明显自相矛盾的东西呢？显著性检验的方法看似有理有据，但为什么在这种情况下的效果那么糟糕呢？原因在于，显著性检验考虑的是脸谱网标记的用户占所有用户的比例，却完全忽略了恐怖分子所占的比例。如果你想判断自己的邻居是否为恐怖分子，必须注意一个重要的“先验信息”（prior information）：绝大多数人都不是恐怖分子。忽略这个信息，就会陷入危险的境地。费舍尔说过，我们必须“在证据的启示之下”，也就是根据已知信息评估每一个假设。
1701024579
1701024580
但是，我们又是怎么做的呢？
1701024581
1701024582
说到这里，不由得让人想起无线电心理学的故事。
1701024583
1701024584
1937年，心灵感应风靡一时。心理学家莱茵（J. B. Rhine）在他的专著《心灵新前沿》（New Frontiers of the Mind）中介绍了他在杜克大学完成的ESP[1]实验。这本书非常畅销，并成为“月读俱乐部”的推荐图书之一。在这本书的影响下，通灵成了美国各地鸡尾酒会上的热门话题。1930年，畅销书《屠场》（The Jungle）的作者厄普顿·辛克莱（Upton Sinclair）再接再厉，又出版了《心灵电波》（Mental Radio）。在这本书中，辛克莱讲了他与妻子玛丽进行心灵感应的故事。由于该书讨论的是主流现象，因此爱因斯坦为它的德语版撰写了序言。爱因斯坦在序言中没有明确表示认同心灵感应，但他建议心理学家“应当认真读读”辛克莱的这本书。
1701024585
1701024586
大众媒体自然要在这一潮流中凑个热闹。1937年9月5日，奇尼斯无线电公司与莱茵合作开展了一项只有借助他们刚开发的新通信技术才可能完成的实验。主持人5次转动轮盘赌的转轮，一群自称有心灵感应能力的人站在旁边。每转动一次，小球要么停留在黑色区域，要么停留在红色区域，而有心灵感应能力的那些人则把全部心神集中在小球停留的区域，然后利用自己的“传播渠道”向全美国发送信号。主持人恳求电台听众利用他们的心灵感应能力获取这些信号，然后寄信把他们接收到的颜色信息告诉无线电台。主持人第一次发出请求时，超过4万名听众做出了响应，在之后的节目中，虽然新鲜劲儿已过，但奇尼斯公司每周仍然能收到数千个回应。这个测试心灵感应能力的实验是大数据的一个雏形，其规模是莱茵在杜克大学办公室里针对实验对象的逐个研究无法企及的。
1701024587
1701024588
尽管实验的最终结果不利于心灵感应，但是心理学家发现，从听众那里收集到的大量数据却有完全不同的用途。听众努力地再现5次转动转轮产生的红、黑（下文分别以R与B表示）颜色序列，一共有32种可能：
1701024589
1701024590
BBBBB BBRBBBRBBBBRRBB
1701024591
1701024592
BBBBRBBRBRBRBBRBRRBR
1701024593
1701024594
BBBRBBBRRBBRBRBBRRRB
1701024595
1701024596
BBBRRBBRRRBRBRRBRRRR
1701024597
1701024598
RBBBBRBRBBRRBBBRRRBB
1701024599
1701024600
RBBBRRBRBRRRBBRRRRBR
1701024601
1701024602
RBBRBRBRRBRRBRBRRRRB
1701024603
1701024604
RBBRRRBRRRRRBRRRRRRR
[
上一页 ]
[ :1.701024555e+09 ]
[
下一页 ]