1700920256
1700920257
●谁控制着奇点
1700920258
1700920259
如果奇点发生了，它将如何影响人类文明呢？我们当然不能给出肯定的答案，但我想，答案应该取决于究竟是谁或者什么东西从一开始就控制着它，正如我在图12-4中画出的那样。如果科技最初是由学术研究者或其他使之开源的人所发展出来的，我认为随之而来的混战局面将会变得高度不稳定，并在短暂的竞争后，由胜出的那个实体来控制。如果这个实体是一个利己主义的人类，或者追逐利润的公司，我认为他们对政府的控制也为期不远了，因为这位所有者将占领世界，并摇身一变，成为政府。如果这个实体是一个利他主义的人类，结局也是一样的，只不过在这种情况下，人类控制的人工智能更像是被奴役的神，一种拥有理解力和超人能力的实体，但却只会遵循主人的指令做事。这些人工智能远超过今天的计算机，二者的差距就像我们人类与蚂蚁的差距一样。
1700920260
1700920261
也许，事实会证明，想要奴役这样的超级人工智能是不可能的，即使我们竭尽全力将它们“锁起来”，不让它们接触互联网。只要它们能与我们交流，它们就能理解我们，懂得如何用花言巧语欺骗我们，让我们作出一些看似无伤大雅但却能让它们“逃脱”、扩散或夺权的事情。我很怀疑我们能否控制这样的逃脱，因为今天的人类即使在人造计算机病毒面前也常无计可施，而这些病毒比起人工智能来说简单太多了。
1700920262
1700920263
为了防止逃脱事件的发生，或者说为了更好地为人类利益服务，它的主人可以选择自愿让权给友好的人工智能。这是人工智能研究者埃利泽·尤德考斯基（Eliezer Yudkowsky）提出的一个概念。友好的人工智能不管最终发展到多么先进的程度，它都始终保持着一个目标——要对人类产生正面的而非负面的影响。如果这成功了，那么友好的人工智能就会表现得像仁慈的神祇，或动物园管理员。如果人类的所有工作都被友好人工智能控制下的机器人替代了，那么人类依然可以活得幸福，因为我们所需的一切都是免费提供的。相比之下，如果奇点由利己主义的人类或追逐利润的公司所控制，将可能带来空前的贫富差距，因为历史证明，大多数人类都喜欢将财富攥在自己手里，而不是将其分散出去。
1700920264
1700920265
1700920266
1700920267
1700920268
图12-4 如果奇点真的来临，背后的控制者不同，结果将十分不同。我认为“没有人”这个选项是非常不稳定的，在短暂的竞争之后，控制权就会落入单个实体的手中。我还认为，由利己主义的人类或追逐利润的公司控制，最终都将被政府控制所取代，因为所有者终将统治全世界，并变成政府。由利他主义的人类控制，或者让权给保护人类利益的友好人工智能，结果并不会有什么不同。不管怎样，终极的控制者都将是一个不友好的人工智能，它超过了自己的创造者，并迅速发展，巩固自己的势力。
1700920269
1700920270
然而，再完美的计划也会失败。友好人工智能的控制权也可能不稳定，控制权最终可能会落入一个不友好的人工智能手中。不友好的人工智能的目标与我们人类不一致，它的行为可能会摧毁所有人，以及人类所关心的一切事物。这种灾难的发生可能是偶然性的，而不是故意为之——人工智能可能只是想用地球上的原子做点别的事情，只不过这件事情与我们的存在相违背。这与我们人类对待低等生物的方式很相似。这个事实令人沮丧：当我们想修建水坝时，总要淹没一些区域，这些区域内的蚂蚁会因此丧生，但我们还是会修建水坝——并不是因为我们讨厌蚂蚁，要对它们赶尽杀绝，只是因为我们的注意力聚焦在一个我们认为更重要的目标上。
1700920271
1700920272
●超级智能生命的内部实在
1700920273
1700920274
如果奇点真的发生，这会让人工智能拥有意识和自我意识吗？它们会拥有内部实在吗？如果不会，那它们充其量只是僵尸而已。在人类所有的特征中，我觉得意识是迄今为止最令人瞩目的一个。就我而言，这使得我们的宇宙拥有了意义。所以，如果我们的宇宙被某种不具有意识的生命形态所统治，那它就失去了意义，是对空间的巨大浪费。
1700920275
1700920276
生命和意识的本质一直是人们争论的焦点。我想，这个现象不止在碳基生命中存在，还应该存在于更一般的生命形态中。我在第10章中提到，我相信意识是信息以某些方式加工时的感觉。由于物质通过排列组合来处理信息的方式非常多，同时拥有极其多变的复杂性，这暗示着意识也可能拥有极其多变的层级和种类。那么，我们主观上感知到的这种意识就是从某些高度复杂的物理系统中产生出的一个现象，这些系统不断地输入、处理、存储和输出着信息。很显然，如果原子能组成人类，那么物理定律也同样允许它们组成更先进的知觉生命。
1700920277
1700920278
如果人类最终会通过触发奇点而开发出更智能的实体，那么我认为这些实体也能感觉到自我意识，因此它们不能被看作无生命的机器，而应该看作像我们一样有意识的存在。但是，它们的意识在主观上可能与我们的感觉大相径庭。比如，它们可能缺乏人类对死亡的巨大恐惧，因为它们只需要将自己备份一下，那么即使它被消灭，失去的东西也并不多——最多是最近一次备份点到现在为止累积的记忆而已。人工智能之间可以随意复制信息和软件，这或许会削弱个性，而个性正是人类意识的特色——如果我与你事无巨细地共享着记忆和能力，那么我们之间还有什么差别呢。所以，一群相距不远的人工智能可能会感觉它们是同一个生物，拥有同一个群体心智。
1700920279
1700920280
如果这是真的，那就符合末日论所提到的长期生存问题——将要终结的并不是生命本身，而是我们的参考类，也就是一些主观感觉与人类心智非常相似的、自知的观察者时刻。即使大批精致复杂的群体心智在几十亿年的时间内占领了我们的宇宙，我们也不应该为我们不是它们中的一员而感到惊讶，就像我们不会为自己不是蚂蚁而感到惊讶一样。
1700920281
1700920282
●人们对奇点的反应
1700920283
1700920284
关于奇点，人们有着非常不同的反应。友好人工智能的想法在科幻作品中有着久远的历史，它巩固了艾萨克·阿西莫夫著名的机器人三定律，这正是我们人类想和机器人保持的和谐关系。但那些描写人工智能超过并攻击人类的故事也十分流行，比如《终结者》系列电影。许多人对奇点理论不以为然，称之为“极客的狂喜”，认为它只是一个遥不可及的科幻场景，根本不可能发生，至少在可预见的未来不可能发生。还有一些人认为它很可能会发生，如果我们不未雨绸缪，提前作出详细计划，那它或许会毁灭人类，还会摧毁人类所珍视的一切。我们在前文讨论过这种观点。我在机器智能研究所（https：//intelligence.org/）担任顾问，这里的许多研究者都支持这种观点，认为奇点将是我们面临的最严重的存在风险。有一些研究者甚至觉得，如果不能保证尤德考斯基等人眼中的友好的人工智能情景一定会发生，那么，最好的方式就是将未来的人工智能锁起来，由人类严密看管，或者根本不要研发先进的人工智能。
1700920285
1700920286
到目前为止，我们的讨论一直聚焦在奇点的负面后果，但还有一些人，例如雷·库兹韦尔则认为，奇点可能会带来极大的正面效应。实际上，他认为这将是发生在人类身上的最好的事情，将解决人类目前面临的所有问题。
1700920287
1700920288
“人类将被更先进的生命形式取代”这个想法会吸引你还是让你感到惊悚呢？这或许取决于不同的情况，尤其取决于你认为未来的生命到底是我们的后代还是我们的征服者。
1700920289
1700920290
如果一对夫妇的小孩比他俩都聪明，尽管孩子从他们身上学到了很多东西，但当他独自面对世界时，他完成了父母做梦也想不到的成就。面对这样的事情，那对夫妇一定很高兴，并为孩子感到骄傲，尽管他们将先离开这个世界，无法看到他的所有成就。但是，超级智能杀手的“父母”们感觉却完全不一样。我们可能会认为，我们与未来的人工智能之间拥有相似的父子关系，因为它们延续了我们的价值观。但是，未来的高级生命是否会继续保留我们最珍视的价值和目标？不同答案将带来迥然不同的影响。
1700920291
1700920292
还有一个关键因素是：转变是循序渐进的还是突然发生的。我认为，如果人类预计未来的进化过程非常缓慢，在几千年的时间里逐渐变得更加聪明，更能适应变化的环境，甚至在此过程中改变我们的物理外貌，那么由于这个过程很缓慢，应该很少有人会注意到这些变化。但是，假如拥有完美孩子的代价是付出生命，想必许多父母会非常矛盾。如果先进的未来科技并不是突然间取代我们，而是逐渐升级和提高我们的能力，并最终与我们融合在一起，那么，这种方式或许既能够保留我们的目标，又保持变化过程的缓慢，这样我们就可以将奇点时代之后的生命形式看作我们的后代。手机和互联网已经增强了人类得到欲求之物的能力，但却没有过度腐蚀我们的核心价值观（这点尚有争议），因此奇点的乐观主义者相信，大脑植入、意识控制装置甚至将人类心智上传到虚拟现实这些科技也同样如此，并不会腐蚀我们的核心价值观。
1700920293
1700920294
此外，这可以打开我们最后的前线——太空。毕竟，能殖民整个宇宙的极度发达的生命或许只能由两个步骤产生：首先，智能生物从自然选择进化而来；然后，他们建造能自我提升的更高级的意识，将生命的火种延续下去。与受限于肉体的人类不同，这种高级生命能迅速崛起，并遍布大部分可观测宇宙。这种想法早已被科幻作家、人工智能狂热爱好者和超人类思想家探索过了。
1700920295
1700920296
那么，几十年后是否会出现奇点？我们应该支持还是反对它呢？我们在这两个问题上显然都没有达成任何共识，但这并不代表我们可以对这些问题视而不见。这可能是人类身上发生的最好或最坏的事情，所以，即使它发生在我们人生中的可能性只有1%，我认为也应该至少花我们GDP的1%来未雨绸缪，研究这个问题以及如何应对它。可是，我们为什么不这么做呢？
1700920297
1700920298
人类的愚蠢：宇宙学视角
1700920299
1700920300
我的职业给了我宇宙学般宏大的视角，而管理人类面临的存在风险是一件非常紧急的事（正如图12-5所总结的那样）。作为教授，我们常被迫为学生打分数。如果我正在教“101条风险管理准则”这门课，并为人类目前的存在风险管理打一个期中分数，我给出的分数会是B-，因为尽管我们在混日子，但还没有完全放弃这门课。然而，从我的宇宙学角度来看，我觉得人类的表现实在太差劲了，我给出的分数不会超过D——生命未来的潜力是巨大的，而我们人类甚至对目前最紧急的存在风险都没有任何令人信服的计划。我们只花了一丁点注意力和资源来制订计划。忧思科学家联盟（Union of Concerned Scientists）是关注某些存在风险的最大机构之一，2013年它花了大约2 000万美元。而美国人在整容手术上的花销比其多了500倍，在部队的空调系统上多花了1 000多倍，在烟草上花了5 000多倍，在军事上花了35 000多倍，这还不算上军队的医疗保障系统、军队退役开支和军事债务的利息。
1700920301
1700920302
1700920303
1700920304
1700920305
图12-5 宇宙学视角凸显了存在风险管理的重要性。我着重强调了未来巨大的潜力。如果我们搞砸了，毁灭了人类文明，我们将失去这巨大的潜力。