1700920276
生命和意识的本质一直是人们争论的焦点。我想，这个现象不止在碳基生命中存在，还应该存在于更一般的生命形态中。我在第10章中提到，我相信意识是信息以某些方式加工时的感觉。由于物质通过排列组合来处理信息的方式非常多，同时拥有极其多变的复杂性，这暗示着意识也可能拥有极其多变的层级和种类。那么，我们主观上感知到的这种意识就是从某些高度复杂的物理系统中产生出的一个现象，这些系统不断地输入、处理、存储和输出着信息。很显然，如果原子能组成人类，那么物理定律也同样允许它们组成更先进的知觉生命。
1700920277
1700920278
如果人类最终会通过触发奇点而开发出更智能的实体，那么我认为这些实体也能感觉到自我意识，因此它们不能被看作无生命的机器，而应该看作像我们一样有意识的存在。但是，它们的意识在主观上可能与我们的感觉大相径庭。比如，它们可能缺乏人类对死亡的巨大恐惧，因为它们只需要将自己备份一下，那么即使它被消灭，失去的东西也并不多——最多是最近一次备份点到现在为止累积的记忆而已。人工智能之间可以随意复制信息和软件，这或许会削弱个性，而个性正是人类意识的特色——如果我与你事无巨细地共享着记忆和能力，那么我们之间还有什么差别呢。所以，一群相距不远的人工智能可能会感觉它们是同一个生物，拥有同一个群体心智。
1700920279
1700920280
如果这是真的，那就符合末日论所提到的长期生存问题——将要终结的并不是生命本身，而是我们的参考类，也就是一些主观感觉与人类心智非常相似的、自知的观察者时刻。即使大批精致复杂的群体心智在几十亿年的时间内占领了我们的宇宙，我们也不应该为我们不是它们中的一员而感到惊讶，就像我们不会为自己不是蚂蚁而感到惊讶一样。
1700920281
1700920282
●人们对奇点的反应
1700920283
1700920284
关于奇点，人们有着非常不同的反应。友好人工智能的想法在科幻作品中有着久远的历史，它巩固了艾萨克·阿西莫夫著名的机器人三定律，这正是我们人类想和机器人保持的和谐关系。但那些描写人工智能超过并攻击人类的故事也十分流行，比如《终结者》系列电影。许多人对奇点理论不以为然，称之为“极客的狂喜”，认为它只是一个遥不可及的科幻场景，根本不可能发生，至少在可预见的未来不可能发生。还有一些人认为它很可能会发生，如果我们不未雨绸缪，提前作出详细计划，那它或许会毁灭人类，还会摧毁人类所珍视的一切。我们在前文讨论过这种观点。我在机器智能研究所（https：//intelligence.org/）担任顾问，这里的许多研究者都支持这种观点，认为奇点将是我们面临的最严重的存在风险。有一些研究者甚至觉得，如果不能保证尤德考斯基等人眼中的友好的人工智能情景一定会发生，那么，最好的方式就是将未来的人工智能锁起来，由人类严密看管，或者根本不要研发先进的人工智能。
1700920285
1700920286
到目前为止，我们的讨论一直聚焦在奇点的负面后果，但还有一些人，例如雷·库兹韦尔则认为，奇点可能会带来极大的正面效应。实际上，他认为这将是发生在人类身上的最好的事情，将解决人类目前面临的所有问题。
1700920287
1700920288
“人类将被更先进的生命形式取代”这个想法会吸引你还是让你感到惊悚呢？这或许取决于不同的情况，尤其取决于你认为未来的生命到底是我们的后代还是我们的征服者。
1700920289
1700920290
如果一对夫妇的小孩比他俩都聪明，尽管孩子从他们身上学到了很多东西，但当他独自面对世界时，他完成了父母做梦也想不到的成就。面对这样的事情，那对夫妇一定很高兴，并为孩子感到骄傲，尽管他们将先离开这个世界，无法看到他的所有成就。但是，超级智能杀手的“父母”们感觉却完全不一样。我们可能会认为，我们与未来的人工智能之间拥有相似的父子关系，因为它们延续了我们的价值观。但是，未来的高级生命是否会继续保留我们最珍视的价值和目标？不同答案将带来迥然不同的影响。
1700920291
1700920292
还有一个关键因素是：转变是循序渐进的还是突然发生的。我认为，如果人类预计未来的进化过程非常缓慢，在几千年的时间里逐渐变得更加聪明，更能适应变化的环境，甚至在此过程中改变我们的物理外貌，那么由于这个过程很缓慢，应该很少有人会注意到这些变化。但是，假如拥有完美孩子的代价是付出生命，想必许多父母会非常矛盾。如果先进的未来科技并不是突然间取代我们，而是逐渐升级和提高我们的能力，并最终与我们融合在一起，那么，这种方式或许既能够保留我们的目标，又保持变化过程的缓慢，这样我们就可以将奇点时代之后的生命形式看作我们的后代。手机和互联网已经增强了人类得到欲求之物的能力，但却没有过度腐蚀我们的核心价值观（这点尚有争议），因此奇点的乐观主义者相信，大脑植入、意识控制装置甚至将人类心智上传到虚拟现实这些科技也同样如此，并不会腐蚀我们的核心价值观。
1700920293
1700920294
此外，这可以打开我们最后的前线——太空。毕竟，能殖民整个宇宙的极度发达的生命或许只能由两个步骤产生：首先，智能生物从自然选择进化而来；然后，他们建造能自我提升的更高级的意识，将生命的火种延续下去。与受限于肉体的人类不同，这种高级生命能迅速崛起，并遍布大部分可观测宇宙。这种想法早已被科幻作家、人工智能狂热爱好者和超人类思想家探索过了。
1700920295
1700920296
那么，几十年后是否会出现奇点？我们应该支持还是反对它呢？我们在这两个问题上显然都没有达成任何共识，但这并不代表我们可以对这些问题视而不见。这可能是人类身上发生的最好或最坏的事情，所以，即使它发生在我们人生中的可能性只有1%，我认为也应该至少花我们GDP的1%来未雨绸缪，研究这个问题以及如何应对它。可是，我们为什么不这么做呢？
1700920297
1700920298
人类的愚蠢：宇宙学视角
1700920299
1700920300
我的职业给了我宇宙学般宏大的视角，而管理人类面临的存在风险是一件非常紧急的事（正如图12-5所总结的那样）。作为教授，我们常被迫为学生打分数。如果我正在教“101条风险管理准则”这门课，并为人类目前的存在风险管理打一个期中分数，我给出的分数会是B-，因为尽管我们在混日子，但还没有完全放弃这门课。然而，从我的宇宙学角度来看，我觉得人类的表现实在太差劲了，我给出的分数不会超过D——生命未来的潜力是巨大的，而我们人类甚至对目前最紧急的存在风险都没有任何令人信服的计划。我们只花了一丁点注意力和资源来制订计划。忧思科学家联盟（Union of Concerned Scientists）是关注某些存在风险的最大机构之一，2013年它花了大约2 000万美元。而美国人在整容手术上的花销比其多了500倍，在部队的空调系统上多花了1 000多倍，在烟草上花了5 000多倍，在军事上花了35 000多倍，这还不算上军队的医疗保障系统、军队退役开支和军事债务的利息。
1700920301
1700920302
1700920303
1700920304
1700920305
图12-5 宇宙学视角凸显了存在风险管理的重要性。我着重强调了未来巨大的潜力。如果我们搞砸了，毁灭了人类文明，我们将失去这巨大的潜力。
1700920306
1700920307
人类为什么如此短视？好吧，进化的历程让我们只擅长使用木棍和石头这类工具，或许我们不应该为自己应对现代科技的方式如此糟糕而感到惊讶，而应该庆幸我们竟然没有做得更糟。现在，我正坐在一个木头和石头做成的大盒子里，眼睛盯着面前的闪光长方形物体，同时不断敲击着一些黑色的小方块。今天，我一整天都没有见过一个鲜活的生物，我在这里已经坐了好几个小时，被头上一个奇怪的螺旋状发光物体所照亮。然而，我却感到挺开心——这个事实恰恰证明了大脑的进化赋予了人类多么强大的适应能力。我知道如何将闪光长方形物体上弯弯曲曲的黑色线条解读为一个故事，我还知道如何计算我们宇宙的年龄，而这两件事对我们洞穴祖先的生存来说没有任何价值。
1700920308
1700920309
不过，我们能做许多事并不意味着我们有能力完成所有必要的事情。过去10万年的人类历史中，外部力量缓慢改变着我们的环境，进化则帮助我们逐渐适应。但是最近，我们却用前所未有的速度改变着地球的环境，而这个速度是进化无法追赶的。并且，我们让情况变得太复杂，即使是世界上最顶尖的专家也无法完全理解他们聚焦的有限方面。所以，难怪我们有时会在大图景面前失明，并让眼下的短期满足感凌驾于地球宇宙飞船的长期生存问题之上。比如，我头顶上发光螺旋体的能量来自燃烧煤炭生成二氧化碳的过程，而这个过程会让我们的宇宙飞船变得过热。我到现在才想到这一点，我真应该早点关掉它。
1700920310
1700920311
人类社会：科学的视角
1700920312
1700920313
现在，我们乘坐着地球宇宙飞船，一头扎进存在风险的危险地带，手头却没有一个计划，甚至连船长都没有。显然，我们必须为此做点儿什么。可是，我们的目标是什么？如何才能最好地完成它们？第一个问题与“什么”有关，是一个伦理问题；第二个问题与“如何”有关，是一个科学问题。这两个问题都非常重要。爱因斯坦说：“没有伦理的科学是瞎子；没有科学的伦理是瘸子。”然而（这也是我的好友杰夫·安德斯[Geoff Anders]喜欢强调的一点），尽管几乎所有人都认同某些伦理结论（例如“不爆发全球核战争好过爆发核战争”），但是我们并没有把这些问题提前转变为实际目标。这就是为什么我为人类的“缓解存在风险”课程给出D分的原因，并且我认为不能把这门课的失败怪罪到伦理困境和前面所说的“什么”问题上。相比之下，我认为我们应该从人类已有共识目标的问题出发（例如人类文明的长期生存），并用一种科学的方法来解决“如何达到这些目标”的问题（我用了“科学”这个词的广泛含义，目的是强调逻辑推理的重要性）。我不觉得口头上说说“必须改变大多数人的心意”就够了——我们需要更具体的策略。那么，我们要如何达成目标呢？如何才能帮助人类在未来的课程上不那么短视？从本质上说也就是，我们如何才能让理性在决策过程中扮演更重要的角色呢？
1700920314
1700920315
许多复杂的力量推动着人类社会向不同的方向发展，它们常互相违背。从物理学家的视角来看，改变一个复杂系统最容易的方法就是寻找不稳定点。在这点上，一丁点力量都会被放大，造成巨大的改变。比如我们已经讨论过，向一颗小行星施加一点温柔的推力，就可能阻止它几十年后与地球相撞。同样，单个人想要影响全社会，最容易的方法就是去寻找不稳定点，物理学中已经给出了无数隐喻——一个简单的想法就像“火药桶中的火花”“星星之火”“多米诺效应”“失去控制的雪球”[73]。比如，如果你想要解决杀手小行星带来的存在风险，那么，直接建造火箭系统来让小行星转向是一个困难的方法。有一个较简单的方法是先花更少的钱，建造一个早期预警系统，一旦你获得小行星即将到来的信息，再筹集资金来建造火箭系统就变得更加简单。
1700920316
1700920317
我认为，为了让我们的星球变成一个更好的家园，有许多最简单的不稳定点可以使用，其中包括传播正确的信息。为了让理性在决策过程中发挥作用，相关信息必须传递到那些做决策的高层人物面前。正如图12-6所描绘的那样，这通常包括三个步骤，组成一个三角形，每个步骤都有极大的概率可能会失败：首先，信息必须被创造或者被发现；接着，发现者必须传播该信息；最后，信息必须被决策者知晓。一旦发现者通过这个三角形将信息传播到其他人的大脑中，其他人就可能因此发现更多的东西，为人类知识的增长添加燃料，形成良性循环。一些发现甚至能将这个三角形自身变得更加高效，比如，出版业和互联网极大地促进了信息的传播和学习。与此同时，更强大的探测器和计算机对科学家的研究起到了极大的辅助作用。即使到了今天，信息三角形的三个环节依然有很大的提升空间。
1700920318
1700920319
很显然，科学研究等创造信息的过程对社会是一笔极好的投资，对阻碍信息传播机制（如信息审查）的反对也同样如此。然而，说到利用不稳定性，我认为最触手可及的方法是图12-6最底部的箭头：学习。尽管全球科学界在研究上取得了很大的成功，但我认为他们在教育公众和决策者的任务上简直太失败了。
1700920320
1700920321
2010年，海地人烧死了12名“巫婆”。美国一项调查显示39%的人认为占星学是科学，还有46%的人相信我们人类种族只有不到一万年历史。如果每个人都理解“科学概念”的概念，这些百分比将降为零。地球也将变成一个更好的世界，因为人们都将拥有科学的生活方式，并基于正确的信息作出决策，让成功的概率变得最大化。他们在购买和投票时也会更加理性，以此加强公司、机构和政府决策的科学性。
1700920322
1700920323
为什么我们科学家败得一塌糊涂？我想，答案主要来自心理学、社会学和经济学。科学的生活方式需要科学方法来收集信息和使用信息，而这两个方面都隐藏着陷阱。显然，当你知晓人们对某个问题的所有论证后，你更容易作出正确的选择，而事实上人们无法获得完整信息的原因却有很多。许多人缺乏获得信息的渠道（97%的阿富汗人没有互联网；在2010年的调查中，92%的人不知道“9·11”恐怖袭击）。许多人被淹没在责任和干扰中，没法获取信息。许多人只从符合他们偏见的来源获取信息。比如，2012的调查显示，27%的美国人相信奥巴马可能或者肯定出生在美国以外的其他国家。最有价值的信息可能很难获得，即使对那些连接到互联网且没有遭到信息审查的人来说也同样如此，他们被淹没在不科学的媒体信息雪崩当中。
1700920324
1700920325
拥有了信息，下一步要做什么呢？科学生活方式的核心是，当面对与你的看法相悖的信息时，你能够改变心意，避免思维惯性，尽管那些固守观点的人常被称为很“强大”。理查德·费曼将“不要信任专家”看作科学的基石，但从众心理和对权威的盲目信任却非常普遍。逻辑构成了科学推理的基础，但一厢情愿的想法、非理性畏惧等认知偏差却总是支配着人们的决策。