1700920226
1700920227
毫无疑问，你一定听说过有关人为危机的严厉争论，从（意外发生或故意而为的）全球性瘟疫到气候变化、污染、资源枯竭和生态系统崩溃。让我来告诉你，我最担心的两个人为危机是什么——意外的核战争和不友好的人工智能。
1700920228
1700920229
意外的核战争
1700920230
1700920231
“连环杀手正逍遥法外！”“人体炸弹！”“当心禽流感！”尽管报纸头条都喜欢用这些标题来吸引眼球，但最有可能杀死你的其实是古老又无聊的癌症。虽然你每年患癌症的概率低于1%，但是只要你活得够长，最后的概率还是很大。意外的核战争也同样如此。
1700920232
1700920233
在过去的50多年里，人们造出了能够引起核决战的工具。这段时间里发生了一连串爆发全面战争的虚假警报，原因有很多，从计算机失灵、供电故障、情报错误到导航误差、轰炸机坠毁和卫星爆炸。在我17岁时，这些事情让我十分困扰。那时我作为自由撰稿人为瑞典和平杂志《PAX》撰写文章。这本杂志的主编卡里塔·安德森（Carita Andersson）热心地培育了我对写作的热忱，教会我许多技巧，并让我写了一系列新文章。逐渐解密的历史记录显示出某些核事件的风险远远大于当初认为的程度。比如，很明显，在2002年的古巴导弹危机中，比尔号驱逐舰（USS Beale）向一艘身份不明的潜艇发射了深水炸弹，而后者实际上是一艘装载有核武器的苏联潜艇，它的指挥官们争吵着是否应该回敬一颗核鱼雷。
1700920234
1700920235
尽管“冷战”早己结束，但近年来的危机却不减反增。洲际弹道导弹不甚精确但破坏力极大，这加强了“互相保证毁灭”（mutually assured destruction）机制的稳固性，因为一方先出击将导致无法避免的大规模报复行动。但近年来，导弹研究转向更精确的制导、更短的飞行时间和更好的敌方潜艇追踪系统，侵蚀了前述机制的稳定性。导弹防御系统一旦成功，将彻底侵蚀这个机制。俄罗斯和美国都保留了他们的预警发射战略，要求发射决策在5～15分钟的时间内完成。而在这么短的时间里，可能根本无法获取完整的信息。1995年1月25日，俄罗斯时任总统叶利钦差几分钟就要启动针对美国的全面核战争，只因为一个身份不明的挪威科学火箭。美国一个项目计划用常规弹头取代三叉戟潜艇搭载的24枚D5洲际弹道导弹中的两枚，引发了广泛担忧；因为俄罗斯的预警系统无法将它们与核导弹区分开，增加了灾难式误解的可能性。还有一些令人担忧的情景包括精神不稳定的军队指挥官和/或边缘政治/宗教行为导致的刻意渎职行为。
1700920236
1700920237
可是，为什么要担忧呢？当然，如果事态变严重了，理智的人们会站出来，作出正确的选择。实际上，有核国家都有精心设计的对策，就像我们的身体对待癌症一样。我们的身体通常可以处理孤立的恶化突变，并且，要引发某一种癌症，可能需要同时触发4个看似巧合的突变。然而，如果我们扔骰子的次数足够多，坏事就可能会发生——斯坦利·库布里克（Stanley Kubrick）的核战争黑色喜剧《奇爱博士》（Dr.Strangelove）就将其描绘为一个三重巧合。
1700920238
1700920239
在我的人生中，两个超级大国之间意外的核战争有可能发生，也可能不会发生。如果它发生了，它必将改变一切。我们目前所关心的气候变化与核冬天相比，根本不算什么。核冬天来临时，全球性的尘云将阻隔阳光长达数年之久，就像小行星撞击或超级火山造成生物大灭绝时的后果一样。2008年经济动荡在核战争面前是小巫见大巫，因为核战争会导致全球性的作物枯竭、基础设施崩溃和大规模的饥荒。在饥饿中挣扎的幸存者会组成武装团伙，挨家挨户抢夺财物。我的人生中会遇见这样的事情吗？我赌30%的概率，与我患癌症的概率差不多。然而，我们对防止核战争所给予的关注和资源，远远低于我们为预防癌症所做的努力。即使全人类的30%都得了癌症，总体来看，人类还是会幸存，但如果爆发核战争，我们的文明不一定能逃过这一劫。关于如何降低这一风险，在科研机构的大量报告中有具体且直接的步骤——但这永远不会成为第一要务，总是被大多数人忽略。
1700920240
1700920241
不友好的技术奇点
1700920242
1700920243
工业革命带来了比我们更强壮的机器。信息革命带来了在某些方面比我们更聪明的机器。在哪些方面呢？曾经，计算机只能在简单的、依靠蛮力的认知任务（例如快速算术或数据库搜索）上超越我们。但是2006年，一台计算机打败了国际象棋冠军弗拉基米尔·克拉姆尼克（Vladimir Kramnik）；2011年，一台计算机在美国智力竞赛电视问答节目《危险边缘》（Jeopardy！）中击败了卫冕冠军肯·詹宁斯（Ken Jennings）；2012年，一台计算机在美国内华达州获得了驾驶执照，因为它的汽车驾驶技术被证明比人类更安全。这些进展会走向何方？计算机最终能否在所有任务上都超越我们，从而衍生出超人的智能？我毫不怀疑，这必将发生：我们的大脑是一堆遵守着物理定律的粒子，并没有一个物理定律阻止粒子组成某些能完成更高级的计算过程的排列。但是，它真的会发生吗？如果真的发生了，这会是一件好事，还是坏事呢？这些问题十分适时：尽管某些人认为超级智能机器在可预见的未来不可能实现，但还有一些人不这么认为，例如，雷·库兹韦尔就预言，2030年，这样的机器就会出现，使其成了目前必须应对的、最紧急的存在风险。
1700920244
1700920245
●奇点理论
1700920246
1700920247
总而言之，我们并不清楚超级智能机器会不会出现。在这件事上，人工智能专家们也分成了几个阵营。但我个人的观点十分清晰，那就是，如果它发生了，后果将是爆炸性的。在我出生的两年前，也就是1965年，英国数学家欧文·古德（Irving Good）解释了原因：
1700920248
1700920249
超级智能机器的定义是一台能超越所有人类智力活动的机器，不管人类有多聪明。由于对这种机器的设计也是人类智力活动之一，因此，超级智能机器能够设计出更好的机器；毫无疑问将会发生一场“智能爆炸”，将人类的智力远远甩在后面。这样，第一台超级智能机器就是人类需要发明的最后一个东西，因为这种机器足够温顺，它会告诉我们如何才能控制它。
1700920250
1700920251
1993年，数学家兼科幻作家弗诺·文奇（Vernor Vinge）写了一篇启人深思、使人冷静的论文。他把这种智能爆炸称为“奇点”（the Singularity），认为我们根本不可能对该点之后的事情作出可靠的预测。
1700920252
1700920253
我猜测，如果我们能造出超级智能机器，那么第一台这样的机器将严重受限于人类为它编写的软件。由于我们不理解如何将智能程序最优化，所以我们可能会用硬件来弥补这一点，我们可能会建造非常强大的硬件，其计算能力甚至超过我们的大脑。毕竟，我们的神经元并不比海豚的神经元多，也不比海豚的神经元好，只是连接方式不同而已。这意味着，有时候软件比硬件更重要。在这种情况下，第一台机器或许能够通过一遍又一遍重写自己的程序来实现一次又一次彻底的进步。也就是说，我们人类花了数百万的时间，才从猿猴般的祖先里彻底进化出了智能。而这种机器能以同样的方式，在短短的几小时甚至几秒钟内，就进化出远超祖先——也就是我们人类的智力。
1700920254
1700920255
从此以后，地球上的生命再也不一样了。不管是谁，也不管是什么，只要控制了这种科技，就能迅速成为全世界最富有、最有权势的富豪。它比所有金融市场更聪明。它发明的东西、获得的专利远超所有人类研究者。通过设计出本质上更好的计算机硬件和软件，这种机器能迅速提升自己的能力和数量。很快，它们就能发明出超乎我们想象的科技，包括任何它们认为有必要的武器。政治、军事和社会控制将很快跟上来。基于当代的图书、媒体和网络内容产生的影响，我怀疑这种机器能够出版比几十亿拥有超级天赋的人类还多的书籍，并能赢得我们的心灵和思想，而不用彻底收买或征服我们。
1700920256
1700920257
●谁控制着奇点
1700920258
1700920259
如果奇点发生了，它将如何影响人类文明呢？我们当然不能给出肯定的答案，但我想，答案应该取决于究竟是谁或者什么东西从一开始就控制着它，正如我在图12-4中画出的那样。如果科技最初是由学术研究者或其他使之开源的人所发展出来的，我认为随之而来的混战局面将会变得高度不稳定，并在短暂的竞争后，由胜出的那个实体来控制。如果这个实体是一个利己主义的人类，或者追逐利润的公司，我认为他们对政府的控制也为期不远了，因为这位所有者将占领世界，并摇身一变，成为政府。如果这个实体是一个利他主义的人类，结局也是一样的，只不过在这种情况下，人类控制的人工智能更像是被奴役的神，一种拥有理解力和超人能力的实体，但却只会遵循主人的指令做事。这些人工智能远超过今天的计算机，二者的差距就像我们人类与蚂蚁的差距一样。
1700920260
1700920261
也许，事实会证明，想要奴役这样的超级人工智能是不可能的，即使我们竭尽全力将它们“锁起来”，不让它们接触互联网。只要它们能与我们交流，它们就能理解我们，懂得如何用花言巧语欺骗我们，让我们作出一些看似无伤大雅但却能让它们“逃脱”、扩散或夺权的事情。我很怀疑我们能否控制这样的逃脱，因为今天的人类即使在人造计算机病毒面前也常无计可施，而这些病毒比起人工智能来说简单太多了。
1700920262
1700920263
为了防止逃脱事件的发生，或者说为了更好地为人类利益服务，它的主人可以选择自愿让权给友好的人工智能。这是人工智能研究者埃利泽·尤德考斯基（Eliezer Yudkowsky）提出的一个概念。友好的人工智能不管最终发展到多么先进的程度，它都始终保持着一个目标——要对人类产生正面的而非负面的影响。如果这成功了，那么友好的人工智能就会表现得像仁慈的神祇，或动物园管理员。如果人类的所有工作都被友好人工智能控制下的机器人替代了，那么人类依然可以活得幸福，因为我们所需的一切都是免费提供的。相比之下，如果奇点由利己主义的人类或追逐利润的公司所控制，将可能带来空前的贫富差距，因为历史证明，大多数人类都喜欢将财富攥在自己手里，而不是将其分散出去。
1700920264
1700920265
1700920266
1700920267
1700920268
图12-4 如果奇点真的来临，背后的控制者不同，结果将十分不同。我认为“没有人”这个选项是非常不稳定的，在短暂的竞争之后，控制权就会落入单个实体的手中。我还认为，由利己主义的人类或追逐利润的公司控制，最终都将被政府控制所取代，因为所有者终将统治全世界，并变成政府。由利他主义的人类控制，或者让权给保护人类利益的友好人工智能，结果并不会有什么不同。不管怎样，终极的控制者都将是一个不友好的人工智能，它超过了自己的创造者，并迅速发展，巩固自己的势力。
1700920269
1700920270
然而，再完美的计划也会失败。友好人工智能的控制权也可能不稳定，控制权最终可能会落入一个不友好的人工智能手中。不友好的人工智能的目标与我们人类不一致，它的行为可能会摧毁所有人，以及人类所关心的一切事物。这种灾难的发生可能是偶然性的，而不是故意为之——人工智能可能只是想用地球上的原子做点别的事情，只不过这件事情与我们的存在相违背。这与我们人类对待低等生物的方式很相似。这个事实令人沮丧：当我们想修建水坝时，总要淹没一些区域，这些区域内的蚂蚁会因此丧生，但我们还是会修建水坝——并不是因为我们讨厌蚂蚁，要对它们赶尽杀绝，只是因为我们的注意力聚焦在一个我们认为更重要的目标上。
1700920271
1700920272
●超级智能生命的内部实在
1700920273
1700920274
如果奇点真的发生，这会让人工智能拥有意识和自我意识吗？它们会拥有内部实在吗？如果不会，那它们充其量只是僵尸而已。在人类所有的特征中，我觉得意识是迄今为止最令人瞩目的一个。就我而言，这使得我们的宇宙拥有了意义。所以，如果我们的宇宙被某种不具有意识的生命形态所统治，那它就失去了意义，是对空间的巨大浪费。
1700920275