1700520022
全球（global） 方案只有在智能体有助于完成最高目标时才给予奖励。所以查尔斯没有得到任何奖励。
1700520023
1700520024
发明一台机器体现本地学习方案是很容易的，因为每项任务所获得的奖励只取决于这个智能体与其主管之间的关系。要实施一个全球学习方案就比较困难一些，因为这要求机器找出哪些智能体通过不间断地完成子目标，自始至终都与原始目标保持联系。本地方案对查尔斯比较慷慨，只要他完成了让他去做的事就会得到奖励。全球方案就比较吝啬。虽然查尔斯是按照上级的要求去做的，但除非他的行动同样有助于完成高层级的事业，否则就没有任何功劳。在这样的方案中，智能体往往无法从过去的经验中学到任何东西。也因此，全球方案的学习过程会更慢一些。
1700520025
1700520026
两种方案有不同的优势。当发生错误会非常危险或系统时间充裕的时候，使用谨慎的全球方案比较合适。这样会产生更多的“负责”行为，因为它会让查尔斯在一定时间后学会自己检查存货，而不是像奴隶一样遵守比尔的命令。如果出现了错误行动，全球方案不会因为“我只是在遵守主管的命令”而给予谅解。另一方面，本地方案可以一次学到更多不同的东西，因为一个智能体可以不断证明自己达成本地目标的能力，不论它们与思维其他部分的关系如何。当然，我们的智能组有若干个这样的选项。不同的时刻，要采用哪个选项，取决于其他智能组的状态，那些智能组的工作就是向自己学习，要使用哪种学习策略取决于环境。
1700520027
1700520028
全球方案不仅要求以某种方式区分哪些智能体的行动帮助解决了问题，还要区分哪些智能体帮助解决了哪些子问题。举例而言，在建塔的过程中，你可能会发现推开某块积木为另一块积木腾出空间很有用。于是你想要记住推开行为有助于建塔，但是如果要以此得出结论，认为一般情况下推开就是一个有用的动作，那你就再也建不成另一座塔了。我们要解决一个困难的问题时，只说某个特定的智能体所做的事对整个事业“有益”还是“无益”是不够的。在某种程度上，人们必须根据本地的环境来判断是好是坏，也就是说，要根据每个智能体所做的工作是如何帮助或阻碍其他相关智能体的工作来判断。奖励一个智能体要产生的效果，应该是让这个智能体的反应在不太妨碍其他更重要的目标的同时，有助于完成某些具体的目标。所有这些都是简单的常识，但是为了更进一步研究，必须澄清我们的语言。我们都经历过追求目标，但经验和理解不是一回事。什么是目标？机器如何获得目标？
1700520029
1700520030
1700520031
1700520032
1700520033
心智社会：从细胞到人工智能，人类思维的优雅解读 [:1700518441]
1700520034
心智社会：从细胞到人工智能，人类思维的优雅解读 7.8 差异发动机
1700520035
1700520036
谈起“目标”，我们总是向这个词中混入上千种意思。每当我们试图改变自我或外部世界的时候，目标就和所有参与其中的未知智能组联系在一起。如果“目标”关系到这么多事，为什么只用这单独一个词来表示呢？当我们认为某些人有目标的时候，通常会期望下面的内容：
1700520037
1700520038
“目标-驱动”系统似乎不会对它所遇到的刺激或情境做直接反应。它会把发现的事物当作物体来利用、避开或忽略，就好像它关注的是其他并不存在的东西。如果任何一项干扰或障碍使得受目标引导的系统从它的轨道上偏离，这个系统似乎会试图移除干扰，绕过它或者把它转变成有利的条件。
1700520039
1700520040
机器中的哪类程序会让人觉得它们拥有带有目的性、坚持性和直接性的目标呢？确实有一种特定的机器看起来拥有这些性质，它是根据以下原则制造的，这些原则是在20世纪50年代末由艾伦·纽厄尔、C.J.肖、赫伯特A.西蒙首先进行研究的。起初，这些系统被称为一般问题解决者，但我就简单地把它们叫作差异发动机好了。
1700520041
1700520042
差异发动机必须包含一个关于“想要的”情境的描述。
1700520043
1700520044
它必须拥有一些次级智能体，想要的情境和实际的情境之间出现的各种差异都可以唤醒这些智能体。
1700520045
1700520046
每个次级智能体都要用某种方式消除那些唤醒了它们的差异。
1700520047
1700520048
1700520049
1700520050
1700520051
这可能看上去既简单又复杂。一方面，从心理学角度来说，要表现人类在追求目标的过程中产生的雄心、挫折、满意和失望，差异发动机可能看上去太原始。但那些心理过程并不是构成目标的要素，而是那些参与追求目标的智能组之间相互作用的产物。另一方面，人们可能会想，一个目标的概念用得着牵扯到智能体、情境、描述、差异这么复杂的四向关系吗？不久我们将会看到，这实际上比看上去简单一些，因为许多智能体已经开始关注差异了。
1700520052
1700520053
1700520054
1700520055
1700520056
心智社会：从细胞到人工智能，人类思维的优雅解读 [:1700518442]
1700520057
心智社会：从细胞到人工智能，人类思维的优雅解读 7.9 意图
1700520058
1700520059
观看一个球在斜坡上向下滚的时候，我们注意到它看上去就像是在尽力避开挡在它路径上的障碍。如果我们不知道重力，可能会不禁认为那个球有一个目标，就是向下移动。但我们知道它并没有“试图”做任何事，认为它有意图这件事只存在于观察者的思维里。
1700520060
1700520061
当我们用“建设者”做实验的时候，也觉得它好像有一个目标。只要你把它的积木拿走，它就会伸手把它们拿回来。只要你把它的塔推倒，它就会重建。它似乎就是想让那里有座塔，而且它会坚持到塔建好为止。当然，“建设者”看上去比向下滚的球更聪明，因为它要克服更为复杂的障碍。但是一旦我们知道了“建设者”是如何工作的，就会明白它其实和那个球差不多：它所做的就是不断寻找积木，然后把积木放在其他积木之上。“建设者”真的有目标吗？
1700520062
1700520063
有目标的要素之一就是坚持性。如果“建设者”没有坚持努力建塔，我们不会说它想要一座塔。但只有坚持性是不够的，“建设者”和那个球完全不知道它们想去哪里。目标的另一个关键要素就是要对一个想要或渴望的状态有某种画面或描述。在同意“建设者”想要一座塔之前，我们还必须确定，对于一座塔是什么样子，它心里是有一幅画面或一种描述的。上述两种要素在差异发动机的理念中都有体现：对某种结果的表述，以及一种让它坚持到结果实现的机制。
1700520064
1700520065
差异发动机“真的”想要什么吗？问这种问题是没什么意义的，因为它寻求的是一种并不存在的差别，除非差别存在于某些观察者的思维里。我们可以把一个球想成是一个完全被动的客体，它只会对外力做出反应。但18世纪的物理学家让·勒朗·达朗贝尔表示，人们可以通过把球描述为一个差异发动机而准确地预测它的行为，它的目标就是减少自己的能量。我们无须强迫自己去回答机器有没有目标这类问题。词汇应该是为我们服务的，而不是我们的主人。目标这个概念使得在某些方面描述人类和机器可以做什么变得更容易，它为我们提供了机会，可以用活动的目标进行简单的描述，而不必使用那些关于机器的晦涩和笨拙的描述。
1700520066
1700520067
诚然，关于人类所指的“拥有目标”，我们还没有详尽一切。人类有许多种表达想要某些东西的方式，没有什么说法能把它们全部包含在内。然而，这一理念已经在人工智能和心理学领域引领了许多重要发展。差异发动机的说法是目前为止关于目标、目的或者意图最有用的概念。
1700520068
1700520069
1700520070
1700520071