1700920240
1700920241
不友好的技术奇点
1700920242
1700920243
工业革命带来了比我们更强壮的机器。信息革命带来了在某些方面比我们更聪明的机器。在哪些方面呢？曾经，计算机只能在简单的、依靠蛮力的认知任务（例如快速算术或数据库搜索）上超越我们。但是2006年，一台计算机打败了国际象棋冠军弗拉基米尔·克拉姆尼克（Vladimir Kramnik）；2011年，一台计算机在美国智力竞赛电视问答节目《危险边缘》（Jeopardy！）中击败了卫冕冠军肯·詹宁斯（Ken Jennings）；2012年，一台计算机在美国内华达州获得了驾驶执照，因为它的汽车驾驶技术被证明比人类更安全。这些进展会走向何方？计算机最终能否在所有任务上都超越我们，从而衍生出超人的智能？我毫不怀疑，这必将发生：我们的大脑是一堆遵守着物理定律的粒子，并没有一个物理定律阻止粒子组成某些能完成更高级的计算过程的排列。但是，它真的会发生吗？如果真的发生了，这会是一件好事，还是坏事呢？这些问题十分适时：尽管某些人认为超级智能机器在可预见的未来不可能实现，但还有一些人不这么认为，例如，雷·库兹韦尔就预言，2030年，这样的机器就会出现，使其成了目前必须应对的、最紧急的存在风险。
1700920244
1700920245
●奇点理论
1700920246
1700920247
总而言之，我们并不清楚超级智能机器会不会出现。在这件事上，人工智能专家们也分成了几个阵营。但我个人的观点十分清晰，那就是，如果它发生了，后果将是爆炸性的。在我出生的两年前，也就是1965年，英国数学家欧文·古德（Irving Good）解释了原因：
1700920248
1700920249
超级智能机器的定义是一台能超越所有人类智力活动的机器，不管人类有多聪明。由于对这种机器的设计也是人类智力活动之一，因此，超级智能机器能够设计出更好的机器；毫无疑问将会发生一场“智能爆炸”，将人类的智力远远甩在后面。这样，第一台超级智能机器就是人类需要发明的最后一个东西，因为这种机器足够温顺，它会告诉我们如何才能控制它。
1700920250
1700920251
1993年，数学家兼科幻作家弗诺·文奇（Vernor Vinge）写了一篇启人深思、使人冷静的论文。他把这种智能爆炸称为“奇点”（the Singularity），认为我们根本不可能对该点之后的事情作出可靠的预测。
1700920252
1700920253
我猜测，如果我们能造出超级智能机器，那么第一台这样的机器将严重受限于人类为它编写的软件。由于我们不理解如何将智能程序最优化，所以我们可能会用硬件来弥补这一点，我们可能会建造非常强大的硬件，其计算能力甚至超过我们的大脑。毕竟，我们的神经元并不比海豚的神经元多，也不比海豚的神经元好，只是连接方式不同而已。这意味着，有时候软件比硬件更重要。在这种情况下，第一台机器或许能够通过一遍又一遍重写自己的程序来实现一次又一次彻底的进步。也就是说，我们人类花了数百万的时间，才从猿猴般的祖先里彻底进化出了智能。而这种机器能以同样的方式，在短短的几小时甚至几秒钟内，就进化出远超祖先——也就是我们人类的智力。
1700920254
1700920255
从此以后，地球上的生命再也不一样了。不管是谁，也不管是什么，只要控制了这种科技，就能迅速成为全世界最富有、最有权势的富豪。它比所有金融市场更聪明。它发明的东西、获得的专利远超所有人类研究者。通过设计出本质上更好的计算机硬件和软件，这种机器能迅速提升自己的能力和数量。很快，它们就能发明出超乎我们想象的科技，包括任何它们认为有必要的武器。政治、军事和社会控制将很快跟上来。基于当代的图书、媒体和网络内容产生的影响，我怀疑这种机器能够出版比几十亿拥有超级天赋的人类还多的书籍，并能赢得我们的心灵和思想，而不用彻底收买或征服我们。
1700920256
1700920257
●谁控制着奇点
1700920258
1700920259
如果奇点发生了，它将如何影响人类文明呢？我们当然不能给出肯定的答案，但我想，答案应该取决于究竟是谁或者什么东西从一开始就控制着它，正如我在图12-4中画出的那样。如果科技最初是由学术研究者或其他使之开源的人所发展出来的，我认为随之而来的混战局面将会变得高度不稳定，并在短暂的竞争后，由胜出的那个实体来控制。如果这个实体是一个利己主义的人类，或者追逐利润的公司，我认为他们对政府的控制也为期不远了，因为这位所有者将占领世界，并摇身一变，成为政府。如果这个实体是一个利他主义的人类，结局也是一样的，只不过在这种情况下，人类控制的人工智能更像是被奴役的神，一种拥有理解力和超人能力的实体，但却只会遵循主人的指令做事。这些人工智能远超过今天的计算机，二者的差距就像我们人类与蚂蚁的差距一样。
1700920260
1700920261
也许，事实会证明，想要奴役这样的超级人工智能是不可能的，即使我们竭尽全力将它们“锁起来”，不让它们接触互联网。只要它们能与我们交流，它们就能理解我们，懂得如何用花言巧语欺骗我们，让我们作出一些看似无伤大雅但却能让它们“逃脱”、扩散或夺权的事情。我很怀疑我们能否控制这样的逃脱，因为今天的人类即使在人造计算机病毒面前也常无计可施，而这些病毒比起人工智能来说简单太多了。
1700920262
1700920263
为了防止逃脱事件的发生，或者说为了更好地为人类利益服务，它的主人可以选择自愿让权给友好的人工智能。这是人工智能研究者埃利泽·尤德考斯基（Eliezer Yudkowsky）提出的一个概念。友好的人工智能不管最终发展到多么先进的程度，它都始终保持着一个目标——要对人类产生正面的而非负面的影响。如果这成功了，那么友好的人工智能就会表现得像仁慈的神祇，或动物园管理员。如果人类的所有工作都被友好人工智能控制下的机器人替代了，那么人类依然可以活得幸福，因为我们所需的一切都是免费提供的。相比之下，如果奇点由利己主义的人类或追逐利润的公司所控制，将可能带来空前的贫富差距，因为历史证明，大多数人类都喜欢将财富攥在自己手里，而不是将其分散出去。
1700920264
1700920265
1700920266
1700920267
1700920268
图12-4 如果奇点真的来临，背后的控制者不同，结果将十分不同。我认为“没有人”这个选项是非常不稳定的，在短暂的竞争之后，控制权就会落入单个实体的手中。我还认为，由利己主义的人类或追逐利润的公司控制，最终都将被政府控制所取代，因为所有者终将统治全世界，并变成政府。由利他主义的人类控制，或者让权给保护人类利益的友好人工智能，结果并不会有什么不同。不管怎样，终极的控制者都将是一个不友好的人工智能，它超过了自己的创造者，并迅速发展，巩固自己的势力。
1700920269
1700920270
然而，再完美的计划也会失败。友好人工智能的控制权也可能不稳定，控制权最终可能会落入一个不友好的人工智能手中。不友好的人工智能的目标与我们人类不一致，它的行为可能会摧毁所有人，以及人类所关心的一切事物。这种灾难的发生可能是偶然性的，而不是故意为之——人工智能可能只是想用地球上的原子做点别的事情，只不过这件事情与我们的存在相违背。这与我们人类对待低等生物的方式很相似。这个事实令人沮丧：当我们想修建水坝时，总要淹没一些区域，这些区域内的蚂蚁会因此丧生，但我们还是会修建水坝——并不是因为我们讨厌蚂蚁，要对它们赶尽杀绝，只是因为我们的注意力聚焦在一个我们认为更重要的目标上。
1700920271
1700920272
●超级智能生命的内部实在
1700920273
1700920274
如果奇点真的发生，这会让人工智能拥有意识和自我意识吗？它们会拥有内部实在吗？如果不会，那它们充其量只是僵尸而已。在人类所有的特征中，我觉得意识是迄今为止最令人瞩目的一个。就我而言，这使得我们的宇宙拥有了意义。所以，如果我们的宇宙被某种不具有意识的生命形态所统治，那它就失去了意义，是对空间的巨大浪费。
1700920275
1700920276
生命和意识的本质一直是人们争论的焦点。我想，这个现象不止在碳基生命中存在，还应该存在于更一般的生命形态中。我在第10章中提到，我相信意识是信息以某些方式加工时的感觉。由于物质通过排列组合来处理信息的方式非常多，同时拥有极其多变的复杂性，这暗示着意识也可能拥有极其多变的层级和种类。那么，我们主观上感知到的这种意识就是从某些高度复杂的物理系统中产生出的一个现象，这些系统不断地输入、处理、存储和输出着信息。很显然，如果原子能组成人类，那么物理定律也同样允许它们组成更先进的知觉生命。
1700920277
1700920278
如果人类最终会通过触发奇点而开发出更智能的实体，那么我认为这些实体也能感觉到自我意识，因此它们不能被看作无生命的机器，而应该看作像我们一样有意识的存在。但是，它们的意识在主观上可能与我们的感觉大相径庭。比如，它们可能缺乏人类对死亡的巨大恐惧，因为它们只需要将自己备份一下，那么即使它被消灭，失去的东西也并不多——最多是最近一次备份点到现在为止累积的记忆而已。人工智能之间可以随意复制信息和软件，这或许会削弱个性，而个性正是人类意识的特色——如果我与你事无巨细地共享着记忆和能力，那么我们之间还有什么差别呢。所以，一群相距不远的人工智能可能会感觉它们是同一个生物，拥有同一个群体心智。
1700920279
1700920280
如果这是真的，那就符合末日论所提到的长期生存问题——将要终结的并不是生命本身，而是我们的参考类，也就是一些主观感觉与人类心智非常相似的、自知的观察者时刻。即使大批精致复杂的群体心智在几十亿年的时间内占领了我们的宇宙，我们也不应该为我们不是它们中的一员而感到惊讶，就像我们不会为自己不是蚂蚁而感到惊讶一样。
1700920281
1700920282
●人们对奇点的反应
1700920283
1700920284
关于奇点，人们有着非常不同的反应。友好人工智能的想法在科幻作品中有着久远的历史，它巩固了艾萨克·阿西莫夫著名的机器人三定律，这正是我们人类想和机器人保持的和谐关系。但那些描写人工智能超过并攻击人类的故事也十分流行，比如《终结者》系列电影。许多人对奇点理论不以为然，称之为“极客的狂喜”，认为它只是一个遥不可及的科幻场景，根本不可能发生，至少在可预见的未来不可能发生。还有一些人认为它很可能会发生，如果我们不未雨绸缪，提前作出详细计划，那它或许会毁灭人类，还会摧毁人类所珍视的一切。我们在前文讨论过这种观点。我在机器智能研究所（https：//intelligence.org/）担任顾问，这里的许多研究者都支持这种观点，认为奇点将是我们面临的最严重的存在风险。有一些研究者甚至觉得，如果不能保证尤德考斯基等人眼中的友好的人工智能情景一定会发生，那么，最好的方式就是将未来的人工智能锁起来，由人类严密看管，或者根本不要研发先进的人工智能。
1700920285
1700920286
到目前为止，我们的讨论一直聚焦在奇点的负面后果，但还有一些人，例如雷·库兹韦尔则认为，奇点可能会带来极大的正面效应。实际上，他认为这将是发生在人类身上的最好的事情，将解决人类目前面临的所有问题。
1700920287
1700920288
“人类将被更先进的生命形式取代”这个想法会吸引你还是让你感到惊悚呢？这或许取决于不同的情况，尤其取决于你认为未来的生命到底是我们的后代还是我们的征服者。
1700920289