1701024505
2006年，在线娱乐公司奈飞（Netflix）举行了一个奖金额高达100万美元的竞赛，让全世界的参赛者编写一个向顾客推荐影片的算法，而且效果要胜过奈飞公司自己研发的产品。活动有效期不是很长，因为奈飞公司规定，只要有人第一个编写出推荐效果比奈飞产品优越10%的算法，他就是赢家。
1701024506
1701024507
参与竞赛的人收到一个巨大的文件，其中包含100万个匿名的影片评级，涉及17 700部电影，来自近50万名奈飞用户。编程的难点在于预测用户会如何评价自己没看过的影片。参赛者手里有大量数据，都与他们准备预测的顾客行为有直接相关性。但是，这种预测的难度非常大，直到三年后才有人获胜，而且还是几个小组联合起来，将各自近乎完美的算法程序结合到一起，才勉强达到要求。但是，在这项竞赛尚未结束时，奈飞公司的业务已经从邮寄电影DVD（数字多功能光盘）转变为向顾客提供在线流媒体影片服务，影片推荐效果不佳也不再是一个大问题了。如果我们曾经接受过奈飞（或者亚马逊、脸谱网等尝试基于所收集的客户信息向客户推荐产品的网站）的服务，就会知道这些推荐的效果仍然非常差。如果在用户的档案资料中添加更多的数据流，推荐效果也许会有所提升，当然，也有可能不会提升。
1701024508
1701024509
然而，在收集数据的公司看来，情况并不像以上描述的那么糟糕。如果塔吉特仅凭跟踪你的会员积分卡的使用情况，就能够百分之百地确定你怀孕了，对他们来说这当然是个好消息。可是，他们做不到。然而，如果能够把猜测你是否怀孕的准确度提高10%，这就是个好消息。谷歌的情况也是一样，他们无须了解我们到底想要购买什么产品，只要他们的想法优于他们的竞争对手即可。公司的利润通常并不是很丰厚，客户行为预测的准确度提高10%，在我们看来并不是什么了不起的事，但对公司而言则可能意味着大笔利润。在那次大赛期间，我找到了奈飞公司负责影片推荐业务的副总裁吉姆·班尼特（Jim Bennett），问他为什么会提供那么一大笔奖金。他告诉我，我应该问的问题是奖金为什么那么少。推荐效果提高10%，尽管这个数字看起来很小，但是公司很快就能赚回那100万美元奖金，而且比再拍摄一部《速度与激情》（Fast and Furious）还要快。
1701024510
1701024511
脸谱网能预测出谁会成为恐怖分子吗？
1701024512
1701024513
因此，如果公司可以获取大量数据，但在了解客户情况这方面仍然没有多大作为，他们应该考虑什么问题呢？
1701024514
1701024515
也许他们可以考虑一下这个问题。假设脸谱网有一个团队，决定想出一个办法，预测用户中谁有可能参与针对美国的恐怖活动。从数学的角度看，这跟判断奈飞用户是否有可能喜欢看电影《十三罗汉》（Ocean’s Thirteen）这个问题的区别不大。脸谱网通常知道用户的真实姓名与地址，因此他们可以利用相关记录，为一系列已经被认定犯有恐怖主义罪行或者支持恐怖组织的人建立档案。然后，他们可以使用数学知识统计恐怖分子每天完成状态更新的次数与普通人相比是更多还是更少，抑或基本相同。在他们的信息更新中，是否某些词语出现的频率更高？他们通常喜欢或不喜欢的乐队、组织或产品有哪些？将用户的所有这类信息加以归纳，就可以为每个用户打分，分数代表脸谱网对用户与恐怖组织有联系或者将会产生联系的概率做出的评估。这项活动与塔吉特公司依据顾客采购的护肤乳与矿物质补充剂推断出她可能是孕妇的做法，基本没有什么区别。
1701024516
1701024517
但是，两者之间有一个重要的不同点：怀孕是一种常见现象，而恐怖主义则非常少见。几乎在所有情况下，特定用户是恐怖分子的概率都会非常小。因此，无论脸谱网的算法是否能预测出谁将实施恐怖袭击，都不可能成为《少数派报告》（Minority Report）中描述的预防犯罪中心。但是，我们可以考虑一种中庸的情况，比如，脸谱网可以在某置信区间内列出一份包含10万名用户的名单，并指出：“其中每个用户是恐怖分子或者恐怖主义支持者的概率，是脸谱网普通用户的两倍。”
1701024518
1701024519
如果你发现你的一位邻居的名字出现在这份名单中，你会怎么做？会给美国联邦调查局打电话吗？
1701024520
1701024521
在打电话之前，你最好画一个方框图。
1701024522
1701024523
1701024524
1701024525
1701024526
图中表示的是脸谱网两亿名美国用户的情况。上面的两格表示有可能是恐怖分子的用户，下面的两格表示不是恐怖分子的用户。在美国，所有的恐怖主义基层组织肯定都非常小。假设我们非常多疑，那么我们可以认为联邦调查局应该密切监视的恐怖分子嫌疑人有1万个，占脸谱网美国用户数的1/20 000。
1701024527
1701024528
方框图左右两侧的区分是由脸谱网做出的，左侧是参与恐怖主义活动可能性较大的10万人。脸谱网认为自己的算法非常准确，所以根据该算法筛选出来的用户是恐怖分子的概率为普通用户的两倍。我们相信脸谱网说的是真的，也就是说，在这10万人中，有1/10 000的人（即10人）是恐怖分子，剩余的99 990人则不是恐怖分子。
1701024529
1701024530
如果1万名恐怖分子嫌疑人中有10人位于左上部，那么右上部就有9 990人。同样，在脸谱网用户中有199 990 000名非恐怖分子，其中有99 990人被该算法加上了标记，因此位于左下部，那么在右下部还剩199 890 010人。把4个分区的人数相加，得数为两亿人，也就是脸谱网的全部美国用户。
1701024531
1701024532
你的那位邻居就位于这4个分区中的某一个。
1701024533
1701024534
但是，他到底在哪个分区里呢？我们只知道他在左侧，这是因为脸谱网把他标记为有可能是恐怖分子的人。
1701024535
1701024536
我们需要注意一个问题：在位于图左侧两个分区的人当中，几乎没有人是恐怖分子。事实上，那位邻居不是恐怖分子的概率为99.99%。
1701024537
1701024538
从某种意义上说，这与避孕药引发恐慌的例子差不多。一旦上了脸谱网的名单，是恐怖分子的概率就会加倍，这令人害怕。但是，最初的概率非常小，即使加倍之后，仍然非常小。
1701024539
1701024540
我们还可以换一种方式来看这个问题。思考一下：如果某个人其实不是恐怖分子嫌疑人，那么他错误地出现在脸谱网名单中的概率有多大？这个问题更清楚地反映出不确定性推理可能导致的困惑与风险。
1701024541
1701024542
结合此图，这个问题就变成：如果我们位于图的下部区域，那么我们在左侧分区的概率有多大？
1701024543
1701024544
这很容易计算。图的下部区域中有199 990 000人，其中，只有99 990人在左侧。因此，脸谱网算法将无辜的人标记为恐怖分子嫌疑人的概率为99 990/199 990 000，即约0.05%。
1701024545
1701024546
这个结果没有错。脸谱网把一个非恐怖分子错误地认定为恐怖分子的概率不到1/2 000！
1701024547
1701024548
现在，再看到你的那位邻居时，你会怎么想呢？
1701024549
1701024550
显著性检验可以为我们提供明确的答案。零假设为“你的邻居不是恐怖分子”，在这个假设条件下，你的邻居遵纪守法，他出现在脸谱网黑名单上的概率约为0.05%，远低于1/20这个统计学显著性的临界值。换言之，按照当代大多数科学研究普遍采用的规则，我们有理由认为零假设是不正确的，从而认定你的邻居就是一个恐怖分子，尽管他不是恐怖分子的概率为99.99%。
1701024551
1701024552
一方面，遵纪守法的人几乎不可能被该算法列入黑名单。另一方面，算法指向的人几乎都是遵纪守法的人。这似乎相互矛盾，但其实不然，真实情况就是这样的。如果我们屏气凝神，仔细观察方框图，我们就不会犯错。
1701024553
1701024554
下面我来告诉大家问题的症结所在。其实，我们提出了两个问题，这两个问题看似没有区别，但其实并不相同。