1700217050
第三步是目前最困难的，需要为达成某个目标在未来不断模拟这个模型。这里我们遇到了巨大的障碍。互联网没有对未来进行模拟的能力，它也没有具体目标。即使在科学世界中，模拟未来也通常仅能在少数几个参数上实现（比如模拟两个黑洞的碰撞）。模拟包含互联网在内的整个世界完全超出了当今的编程能力。这可能包括纳入所有常识法则，所有物理学、化学和生物学规律，也包括纳入人类行为和人类社会的事实。
1700217051
1700217052
此外，智能互联网需要具有目标。今天，它只是一条被动的高速公路，没有方向，没有目标。当然，我们在原则上可以把一个目标强加给互联网。但是让我们考虑一下这个问题：我们可以制造出目标在于自我保护的互联网吗？
1700217053
1700217054
这也许是最简单的目标，但没人知道怎样为它编程。比如，这个程序会防止所有拔下插头停止网络的企图。目前，互联网完全没有能力识别出有什么能威胁它的存在，更不要说想出方法防止这些威胁了。（例如，有识别威胁能力的互联网需要认出各种企图，如关闭电源、切断通信线缆、摧毁服务器、阻断光纤和卫星连接等。另外，有能力预防这些攻击的互联网还要具备对每种情况的反制措施，然后在未来予以实行。地球上还没有计算机能够做到哪怕是其中最小的一点。）
1700217055
1700217056
换句话说，有一天我们可能会制造出具有自我意识的机器人，甚至是具有自我意识的互联网，但那一天十分遥远，也许要在本世纪末了。
1700217057
1700217058
但若假设这一天已经到来，有自我意识的机器人正行走在我们中间。如果这样一个机器人的目标能与我们的目标相融合，那么这种人工智能就不会造成问题。但如果机器人的目标与我们的目标不一样会怎么样呢？我们担心的是，人类会被具有自我意识的机器人超过，成为它们的奴隶吗？这些机器人由于拥有模拟未来的超强能力，它们可以预测出许多情况的结果，然后找出推翻人类的最佳手段。
1700217059
1700217060
控制这种可能性的一种方法是确保这些机器人的目标是善意的。我们已经看到，仅仅模拟未来并不够。这些模拟必须服务于最终目标。如果一个机器人的目标仅仅是保全自己，那么它就会防卫性地应对所有拔掉电源的企图，这对于人类来说可能意味着大麻烦。
1700217061
1700217062
1700217063
1700217064
1700217065
心灵的未来 [:1700213103]
1700217066
心灵的未来 机器人会接管一切吗？
1700217067
1700217068
1700217069
在几乎所有的科幻小说中，机器人都是危险的，因为它们有接管一切的欲望。事实上，“机器人”（robot）这个单词来自于捷克语，意思是“工人”，首先出现在卡雷尔·恰佩克1920年的戏剧《罗素姆的万能机器人》（Rossum’s Universal Robots）中，戏中科学家们制造出一个与人类长得相同的机械新物种。很快，上千个机器人开始从事卑贱的和危险的工作。但人类对它们很不友好，最后它们奋起反抗，摧毁了人类物种。虽然这些机器人接管了地球，但它们有一个缺陷：无法繁衍。戏剧的最后，两个机器人相爱了。所以，也许一种新的“人类”又将诞生。
1700217070
1700217071
电影《终结者》提供了另外一种更真实的情景，由军队制造的超级计算机网络“天网”控制了美国的核武器库。有一天，它突然醒来，有了知觉。军队试图关闭天网，但发现程序中有一个漏洞：网络有自我保护设计，而为达到这个目的，唯一的方法就是消灭问题的来源：人类。它发动了核战争，最后使人类成为反抗机器主宰的一群乌合之众。
1700217072
1700217073
机器人当然可能成为威胁。当今的捕食者无人机可以精准地消灭目标，而人是在几千英里之外通过操作杆控制它的。根据《纽约时报》的报道，开火的命令直接由美国总统下达。但未来捕食者可能会应用人脸识别技术，如果它对目标身份的确信程度达到99％，它就有权开火。无须人类的介入，它可以应用这项技术自动向任何符合信息档案的人开火。
1700217074
1700217075
现在假设这种无人机出现系统崩溃，它的人脸识别软件发生故障。那它就变成了流氓机器人，有可能杀死出现在视野中的所有人。更为糟糕的是，设想这样一个由中央司令部控制的机器人战队。如果中央计算机中的一个晶体管元件烧坏，出现故障，那么整个战队就可能进行持续杀戮。
1700217076
1700217077
如果机器人顺利运行，没有故障，但它们的编程和目标有一些无关痛痒的缺陷，这时会出现更为微妙的问题。对于机器人来说，自我保护是一个重要的目标，同样重要的是保护人类。当这些目标相互冲突时，真正的问题就来了。
1700217078
1700217079
在电影《我，机器人》（I，Robot）中，计算机系统认定人类有自我毁灭的趋势，他们总是不断进行战争，发动暴行，保护人类物种的唯一办法是接管人类，建立由机器主导的温和统治。这种目标冲突不是发生在两个不同目标之间，而是针对一个不现实的目标出现的。这些具有杀人倾向的机器人没有出现故障，它们从逻辑上推理出保护人类的唯一方法是接管社会。
1700217080
1700217081
解决这个问题的一种方法是建立目标等级。例如，帮助人类的愿望必须排在自我保护之上。电影《2001：太空遨游》采用了这个主题。电脑系统HAL 9000（哈尔9000）具有感觉能力，能够与人类轻松沟通，但HAL9000接收到的命令是自相矛盾的，在逻辑上无法完成。在尝试达成不可能的目标的过程中，它从平台上掉了下来，它疯了，而要遵从由不完美的人类发出的矛盾的命令，唯一的办法是消灭人类。
1700217082
1700217083
最好的方法也许是建立一套新的机器规则，要求机器人不能伤害人类，即使这与它们之前收到的指示相矛盾。它们的程序必须能够忽略命令中一些等级较低的矛盾，并总是遵守那些最高的法律。不过在最好的情况下，这也仅是一个不完美的系统。（例如，如果机器人的中心任务是保护人类，而不管其他目标，那么这就取决于机器人怎样定义“保护”这个词。它们对这个词的机械定义与我们的定义可能不同。）
1700217084
1700217085
一些科学家，如印第安纳大学的认知科学家道格拉斯·霍夫施塔特（Douglas Hofstadter）博士并不担心这种可能性，他们没有表现出恐惧。在我对他的采访中，他告诉我，机器人是我们的孩子，所以我们为什么不能像爱自己的孩子一样爱它们呢？他告诉我，他的态度是我们爱自己的孩子，即使知道孩子将来会接管这个世界。
1700217086
1700217087
我采访了卡内基梅隆大学人工智能实验室前主任汉斯·莫拉韦克（Hans Moravec）博士，他同意霍夫施塔特博士的看法。在他的著作《机器人》（Robot）中，他写道：“我们思维的孩子（指机器人）从生物进化缓慢的步伐中走出来，将会自由地成长面对更大的世界中巨大而深刻的挑战……我们人类在一段时间内会从它们的劳动中获益，但……与我们自己的孩子一样，它们将寻找自己的命运，而我们这些老去的父母会默默地消失。”
1700217088
1700217089
与之相反，另外一些人认为这是一种非常糟糕的解决办法。也许在一切都还来得及时，如果我们对自己的目标和看重的事情做出改变，这个问题还是可以解决的。因为机器人是我们的孩子，我们可以“教导”它们和善些。
1700217090
1700217091
1700217092
1700217093
1700217094
心灵的未来 [:1700213104]
1700217095
心灵的未来 友好的人工智能
1700217096
1700217097
机器人是我们在实验室中制造出来的机械生物，所以我们制造出来的是杀手机器人还是友好机器人取决于人工智能研究的方向。很多研究资金来自于军方，专门用于赢得战争，因此可以确定的是确有出现杀手机器人的可能性。
1700217098
1700217099
不过由于全世界30％的商用机器人由日本制造，这就出现另外一种可能性：机器人可以在一开始就被设计成有用的玩伴和工人。如果由消费市场主导机器人科学研究，那么这个目标就有可能实现。“友好的人工智能”的理念是，从一开始，机器人制造者就应该编入使机器人对人类有益的程序。