1701550373
假设底端的输入单位代表动物的外表：“长毛发的”、“四足的”、“长羽毛的”、“绿的”、“长脖子的”，等等。有了足够的单位，就能通过开启每个动物独特的那组特征的单位来代表它们。开启“长羽毛的”单位，关闭“长毛发的”单位等，就代表了鹦鹉。现在假设顶端的输出单位代表动物学事实，一个代表动物食草，另一个代表动物是温血的，等等。没有单位代表某个特定的动物（也就是说，没有“鹦鹉”单位），但权重自动地代表了动物类别在统计上的知识。它们隐含了这样的知识：长羽毛的动物倾向于是温血的，长毛发的倾向于是年轻的，等等。任何储存在对一个动物的连接中的事实（鹦鹉是温血的）自动地转移到类似的动物（虎皮鹦鹉是温血的），因为网络根本不在乎连接从属于任何一个动物。网络只是说哪些可见的特征可以推测出哪些可见的特征，而略去了关于动物种类共同的表像（见图2-9）。
1701550374
1701550375
1701550376
1701550377
1701550378
图2-9
1701550379
1701550380
从概念上讲，模式协关器的原理就是，如果两个物体在某些方式上相似，那么它们很可能在其他方式上也相似。从物理上讲，相似的物体是由一些完全相同的单位所表征的，所以任何与一个单位的物体相连接的信息事实上就会与其他物体的许多单位相连接。此外，不同程度的包容级别被添加到相同的网络中，因为任何几个单位的小集合都隐含地界定了一个级别。单位越少，级别越大。比如说有对于“移动”“呼吸”“长毛发”“吠叫”“咬”和“见到消防栓就抬腿”这样的输入单位，发散出所有这六项的连接就触发有关狗的事实。发散出前三项的连接触发了关于哺乳动物的事实。发散出前两项的触发了关于动物的事实。只要有合适的权重，为一个动物设定的知识能够既与他的直接家庭成员也与他的远亲成员共通使用。
1701550381
1701550382
神经网络的第五个秘诀是它们从例子中学习，这些学习构成了连接权重的变化。模型建立者（或进化）不需要亲手确定令输出正确所需的上千个权重。假设“老师”将一个输入连同其正确输出供给一个模式协关器，学习机制将网络的实际输出（最初是很随机的）与正确输出相比较，并调整权重为二者的差异最小化。如果网络在一个老师说应当停的输出结点停了下来，我们就想让当前激活输入的汇集更可能在今后也把它开启。所以激活输入对于这个输出的权重就会略微提高。此外，这个输出结点本身的域限也略微地降低了，这样可以让整体都更能感受到这种触发-愉悦。如果网络开启了一个输出结点，老师却说应当关闭，相反的情况就会发生：当前激活的输入线权重会略为下调（有可能将原来超过零的权重调至负值），目标结点的域限则有所上升。这些都使得这个极度活跃的输出结点在今后对应那些输入时更可能关闭。整个系列的输入和它们的输出都呈交到网络，不断往复，导致一浪接一浪的连接权重微调，直到使得每个输入有了正确的输出，至少是尽可能正确的输出。
1701550383
1701550384
具有这种学习技术的模式协关器被称为一个感知器。感知器很有意思，但有一个很大的缺陷。它们就像来自地狱的厨师一样，认为每种成分要是有一点不错，许多所有成分就一定会更好。在决定一组输入是否合理地解释了一个输出的开启时，感知器给予了它们更多的权重并把它们累加起来。这往往会给出错误答案，即使是对于非常简单的问题。这个缺陷的一个教科书例子是感知器对于一个称为“异或”的简单逻辑操作的处理，这个逻辑意为“A或者B，但不是二者都”（见图2-10）。
1701550385
1701550386
1701550387
1701550388
1701550389
图2-10
1701550390
1701550391
当A开启时，网络应该开启A异或B。当B开启时，网络应该开启A异或B。这些事实会诱使网络增加与A相连接的权重（比如说，到0.6），并增加与B相连接的权重（比如说，到0.6），令每一个都足够高可以超过输出单位的域限（比如说，0.5）。但当A和B都开启时，我们的好东西就太多了——即使当我们想让它关闭的时候，A异或B仍一路狂呼乱喊。如果我们尝试小一些的权重或者高一些的域限，当A和B都开启的时候我们可以让它保持安静，但不幸的是，那样的话，当只有A或者只有B开启的时候，它将仍旧不出声。你可以用你自己的权重实验，但你会看到什么也不会发生。“异或”只是不能从感知器中构建的一种“小幽灵（后台程序）”；其他的包括确定开启的单位数是奇数还是偶数的“小幽灵（后台程序）”，确定一串激活的单位是否对称的“小幽灵（后台程序）”，以及得出简单加法问题答案的“小幽灵（后台程序）”。
1701550392
1701550393
解决方法是使得网络更少像一个刺激-反应的生物一样，并在输入和输出层之间给它一个内部表征。它需要一个表征令关于输入的关键信息彰显出来，这样每个输出单位只需累加它的输入就能够得到正确答案。以下就是对于“异或”所能做的（见图2-11）。
1701550394
1701550395
1701550396
1701550397
1701550398
图2-11
1701550399
1701550400
输入与输出之间两个隐藏的单位计算了有用的中间产品。左边的这个计算了简单的情况“A或B”，从而激活了输出结点。右边这个计算繁复的情况“A且B”抑制了输出结点。输出结点可以只计算“（A或B）而不是（A且B）”，这对于它虚弱的力量来说也是力所能及的。要注意，即使是在用模型神经元构建最简单“小幽灵（后台程序）”的微观水平，内部表征也是必不可少的；仅仅刺激-反应的连接是不够的。
1701550401
1701550402
还有更好的，一个隐含层网络经过训练，能够运用一个更加新式的感知器学习程序来确定自己的权重。就像以前一样，老师将每个输入的正确输出都提供给网络，由网络来上下调整连接的权重，试着减少差异。但这提出了一个感知器无须担心的问题：如何将连接从输入单位调整到隐含单位。这是一个问题，因为老师又读不出心智，他无从知道封藏在网络内部的隐含单位的“正确”状态。心理学家戴维·鲁梅尔哈特（David Rumelhart）、杰欧弗瑞·欣顿（Geoffrey Hinton）和罗纳德·威廉姆斯（Ronald Williams）找到一个聪明的解决方法。输出单位对每个隐含单位反向传播了一个信号，代表着隐含单位对其所连接的所有输出单位的误差总和（“你传递了太多的激活”或者“你传递了太少的激活”，以及多多少或少多少）。这个信号可以作为代理教学信号用来调整隐含层的输入。从输入层到每个隐含层的连接都能够被上下推动，来减少隐含层在给定当前输入模式的条件下调整过量或不足的倾向。这个程序被称为“误差反向传播”，简称为“反向传播”，可以被后向迭代至无数层。
1701550403
1701550404
我们已经到达了许多心理学家看作是神经网络建模者的艺术的高度。在某种方式上，我们已经兜了一圈又回到原点，因为一个隐含层网络就像是麦卡尔洛克和匹茨对他们的神经逻辑计算机所提出的逻辑门的任意路线图。概念上讲，隐含层网络是将一组或对或错的命题组合成一个由多个“和”“或”及“非”连接在一起的复杂逻辑函数的一种方式，这种组合是通过两个扭转而成的。其一为值可以是连续的而不是或开启或关闭，所以它们可以表征一些陈述的正确程度或真实的概率，而不是只能处理完全对或完全错的陈述。第二个扭转是网络在许多情况下能够被训练得通过提供输入和它们正确的输出而采用适当的权重。位于这两个扭转上面的是一种态度：从脑中神经元之间的许多连接获得启发，并对构成网络的门和连接数目的天文数字无所愧疚。这种道德观使一个人能够设计出计算许多概率的网络，因而也是利用了外部世界特征之间的统计冗余性的网络。而这反过来又使得神经网络能够从一个输入概括到类似的输入而无须更多训练，只要这个问题是类似的输入产生类似的输出。
1701550405
1701550406
这几个观点是关于我们最小的“小幽灵（后台程序）”及其公告板作为模糊的神经机器如何运作的。这些观点起到一个桥梁的作用，到现在这桥还有点摇晃，它们的解释之路始于概念领域（祖母的直觉心理学以及它背后的各种知识、逻辑和概率理论），延续到规则和表征，最终抵达真实的神经元。神经网络还带来了一些令人愉快的惊喜。在解开心智软件时，最后我们可能会只使用蠢到足以用机器取代的“小幽灵（后台程序）”。如果我们似乎需要聪明点的“小幽灵（后台程序）”，有人就会弄明白怎样用更蠢笨的“小幽灵（后台程序）”来做出这些聪明的来。这一切都发展得太快了，而且有时发展得有所不同，比如当从下至上研究神经元的神经网络建模者能够构建一些“小幽灵（后台程序）”存货时，这些“小幽灵（后台程序）”存货可以做近便的事情，就像一个内容寻址的内存记忆，或是自动概括的模式协关器。心智软件工程师们（事实上，是逆向工程师们）有一个很好的部件目录，他们可以从中订取聪明的“小幽灵（后台程序）”。
1701550407
1701550408
心智探奇：人类心智的起源与进化 [:1701549374]
1701550409
人的智能=神经网络+符号处理过程
1701550410
1701550411
心理语言中的规则和表征在哪里就停止工作呢，神经网络又在哪里开始发挥作用呢？大多数认知科学家赞同“两极分化说”。在最高的认知层次，我们有意识地亦步亦趋，小心运用着我们从学校所学的规则或自己发现的规则，这时，思维就像一个生产系统，记忆中储存着符号性语句，并由“小幽灵（后台程序）”来执行程序。在较低的层次，语句与规则是在神经网络中得到执行的，神经网络对熟悉的模式做出反应，并将这些模式与其他模式相联系。但这些层次的界限在哪里却仍有争议。到底是由简单的神经网络来应付大量的日常思维事务，用显性规则和命题来处理读书学习之类的任务呢，还是神经网络更像一些全然无知的基础构件，直到它们被组装成结构分明的表征和程序呢？
1701550412
1701550413
有一个学派称为联结主义（Connectionism），代表人物是心理学家戴维·鲁梅尔哈特（David Rumelhart）和詹姆斯·麦克莱兰德（James McClelland）。他们认为，简单的神经网络自身就可以解释绝大多数人类智能。更有甚者，联结主义宣称，思维就是一个很大的隐含层反向传播神经网络（Hidden-layer back-propagation network），抑或可能是一组类似或相同的神经网络，而当环境这个培训师调整影响联结的权重时，智能就出现了。我们比老鼠聪明的唯一原因是，我们的神经网络在刺激与反应之间有着更多的隐含层，我们生活环境中的其他人同样也是神经网络的培训师。心理学家不可能跟踪神经网络里通过联结所产生的数百万条激活信号流，而规则和符号可能就是对于网络中这些信息流的一个简便而粗略的估计，但其作用仅此而已。
1701550414
1701550415
而另一种观点认为，这些神经网络本身并不能完成任务，我更倾向于这种观点。将神经网络构建成为操控符号的程序这一过程，解释了大多数的人类智能。对符号的运用是人类语言及与语言相互作用的推理部分的基础。这并非所有的认知，但已经是很大一部分了；它已是我们能与自己和他人交谈的全部了。作为心理语言学家，我在工作中搜集的证据表明，即使是讲英语所需的最简单技能，如动词过去时态的组成（walk变为walked, come变为came），对单个神经网络而言，在计算上也是过于复杂而无法处理的。在本节中，我将阐释一个更为一般意义上的证据。我们的常识性思考内容（我们谈话中交流的那种信息），需要一个设计成执行高度结构化心理语言的计算机器呢，还是用通用的神经网络这类东西（有饶舌者戏称为联结浆糊[7]）就能解决？我将向您说明，我们的思想有一个精巧的逻辑构成，这种构成绝非简单的同质单位层神经网络（simple network of homogeneous layers of units）所能处理的。
1701550416
1701550417
这与您有什么关系呢？因为这些证据对关于心智如何工作这一问题迄今最有影响力的理论提出了质疑。根据该理论，感知器（Perceptron）或隐含层神经网络（hidden-layer network）就是对一个古老教条——想法关联——的高科技执行翻版。英国哲学家约翰·洛克、大卫·休谟、乔治·伯克莱、戴维·哈特利，以及约翰·斯图尔特·密尔都提出，思想是由两条法则所决定的。一条为邻接律（Contiguity）：时常共同体会到的想法会在头脑中建立关联。因而，一个被激活，则另一个也随之激活。另一条为相似律（Resemblance）：当两个想法类似时，无论什么与第一个想法相关联，则自动也与第二个建立关联。正如休谟于1748年所总结的理论：
1701550418
1701550419
自身体验带给我们一些源自某些东西的一致性效应。当一个具有类似可感知特征的新产品被生产出来时，我们期待它能具有类似的功能，并寻找相仿的效应。从一个与面包有着类似光泽和形状的东西中，我们期待能获得相似的营养补充。
1701550420
1701550421
基于邻接律和相似律的关联方式也被认为是宣传著名“白板”（洛克对新生儿心智的比喻）的始作俑者。这个被称为“关联论”（Associationism）的学说统治英美的心智学界达几个世纪之久，直至今日，它在很大程度上仍占主导地位。当“想法”被刺激-反应所取代后，关联主义就变成了行为主义。白板说和上述两条“一般-目的”学习法则是标准社会科学模型的心理学基础。我们不时听到些陈词滥调，说我们的成长教育如何令我们在食物与爱、财富与快乐、身高与权力等诸如此类事物之间建立“关联”。
1701550422