1700676810
1700676811
1700676812
1700676813
1700676814
20世纪80年代中期，神经科学家和心理学家对能够克服“群魔”和感知机局限性的新的计算方法产生了浓厚的兴趣。这种新方法被称为并行分布式处理（parallel distributed processing，简称PDP），最早出现在一部两卷本的书中。这部著作描述了行为的新型计算机模型以及这些模型在心理学和神经生物学中可能的对应物。[33] 令人惊讶的是，这样一本学术专著竟然售出了超过5万册，并且产生了极大的影响力。[34] 这种方法的发展源自许多人的共同努力，这些研究者包括大卫·鲁姆哈特（David Rumelhart）、詹姆斯·麦克莱兰德（James McClelland），以及目前谷歌的一位资深研究者杰弗里·辛顿（Geoffrey Hinton）[35] ，弗朗西斯·克里克也曾有过贡献。这种方法直接催生了神经网络和深度学习，后者彻底改变了计算神经生物学和人工智能，并经常产生能够登上媒体头条的研究结果。
1700676815
1700676816
各类PDP网络中都有三层继承自感知机的基本结构。其中两层是输入层，在某些特征触发某个给定单元时就会做出响应。另一层是输出层，在前两层完成其工作后会通知外界。神奇之处在于中间层（通常称为隐藏层），它使用各种各样的互联系统以及遵循赫布法则的算法：同时被激活的连接随后会更受青睐。
1700676817
1700676818
这些程序模仿行为的能力在科学界引起了极大的反响，弗朗西斯·克里克将这种感觉称为“令人陶醉”。[36] 克里克曾经也是催生这本突破性著作的PDP小组的一员，不过他后来将自己的角色描述为“一个边缘人，或者可能是一个讨人厌的人”。[37] 对这些研究无比熟悉并没有阻止他最早分享这种喜悦。泰瑞·谢诺夫斯基（Terry Sejnowski）和查理·罗森博格（Charlie Rosenberg）编写的一个名为“网语”（NETtalk）的程序给克里克留下了特别深刻的印象，这个程序能够学习正确地读出英语文字的发音，克里克认为这个结果“非常了不起”。然而，当遇到一段特点新颖的文本时，这个程序就无法正常工作了——它并不是在明确地学习英语发音的规则（就这些规则存在的程度而言）。[38]
1700676819
1700676820
PDP网络能够如此有效地执行任务，这在很大程度上是由于使用了所谓的反向传播（back propagation）算法：信息以一种反馈循环的形式在各层之间双向传递。这使程序能够改进其行为，快速实现准确的输出。军方和学术界的资助者很快就对这种方法的前景感到兴奋不已，随后几十年的研究成果以及计算能力的增长也使谷歌等私营企业对这一课题产生了浓厚的兴趣。
1700676821
1700676822
从开始运行的那一刻起，这些程序就有了自己的生命，可能产生让人意想不到的结果。它们的表现受隐藏层中算法设置方式的影响，如果软件运行不畅后崩溃或者令人沮丧地无法正常运行（我们没怎么听到过这种例子，但肯定有很多），那么显然会导致让人失望的结果。但这些程序也能给人带来惊喜。最早的PDP程序之一是由鲁姆哈特和麦克莱兰德创建的，目的是模拟学习英语动词过去时的过程。在学习的过程中，这个程序不仅成功完成了任务，而且还错误地把它从规则动词中学习到的规则应用到了不规则动词上，就像儿童在学习时常犯的错误一样。例如，对于“go”这个动词，尽管程序一开始已经学会了其正确的过去式是“went”，但最终却会说是“goed”。[39]
1700676823
1700676824
2012年，发生了一件更不寻常的事情。谷歌创造了一个包含10亿个连接的程序，这个程序在1000台计算机上连续运行了3天，从视频网站YouTube上的视频中抓取了1000万张图片。程序没有预设模板，也没有对输出信息设置任何条件。[40] 然而随着时间的推移，这个程序中产生了一个能对猫的面孔做出反应的单元。这个单元称得上是一个能对虚拟的猫做出反应的虚拟“祖母细胞”。这并不是这项研究预期的结果——这个程序并没有被设定成去刻意地找猫，却发现了一张猫的照片而且兴奋起来了。这些图像是以一维数据流的形式呈现给程序的，程序仅仅是学习识别它在训练数据集中经常遇到的数据序列。因此是猫脱颖而出了。这些数据序列对应于猫脸的组成部分——眼睛、三角形的耳朵等等。这些都在视频中反复出现。对这个非同凡响的结果，我需要发表一些看法。在我这种外行人看来，程序所探测出的猫的样子并不明显（参见这篇论文的图6）[41] ，而且当用一组新的图片检测这个程序时，程序正确识别出猫的概率只有16%（比以前的结果有了很大的提高，但仍然很一般）。
1700676825
1700676826
这个程序使用了这个领域当下最前沿的技术——深度学习网络。计算机技术领域许多非凡突破的背后都有它的影子。在我还是学生的时候，这些突破涉及的任务被认为是机器不可能完成的——人脸识别、场景分析、无人驾驶汽车、自然语言识别、翻译、下国际象棋或围棋等等。深度学习系统擅长识别海量数据集中的内容，特别是那些关于自然事物的内容，比如猫。近年来，由于引入了一种有记忆能力的模块——显然借鉴了脑的组织方式——这种网络拥有了更强大的能力。这种模块叫作长短期记忆（long short-term memory），最早提出于1997年。它极大地提高了深度学习的速度和效率，使机器能够以一种真正了不起的方式提取信息。[42]
1700676827
1700676828
2018年，伦敦大学学院和谷歌的研究人员使用深度学习和长短期记忆[43] 的方法来追踪一只虚拟大鼠在一个虚拟空间中的位置。他们惊讶地发现，随着程序的运行，虚拟大鼠的脑中出现了自发的六边形活动模式，这与真实大鼠的海马中为位置细胞提供支持的网格细胞的活动模式颇为相似。更令人印象深刻的是，在一个虚拟迷宫中，这只虚拟大鼠还会使用这些虚拟细胞的输出来导航，包括走捷径。根据论文作者的说法，“这让人联想到了哺乳动物走捷径的行为”。[44]
1700676829
1700676830
尽管这些意想不到的结果令人惊叹，但仅仅因为程序产生了与脑产生的行为相似的行为，并不能得出这两个系统在结构或功能上是相同的这样的结论。正如伊芙·马德尔的研究表明的那样，许多不同的结构都能产生相同的输出结果。至于马尔提出的人工和自然过程可能使用了相同算法的猜想，过去式学习程序并非如此，因此这个程序也就无法帮助我们理解儿童是如何学习语言的。
1700676831
1700676832
在最近的一项研究中，研究者对动物和深度学习网络识别视觉物体的方式做了比较，证实了许多生物学家持有的观点。[45] 虽然机器、猴子和人都能识别狗、熊等动物的照片，但计算机程序所犯的错误与猴子和人所犯的错误大不相同，这表明机器和动物处理图像的方式是不同的。此外，对程序加以调整并不能改善这个问题，这表明机器和动物的图像处理过程中存在一些根本性的差异。
1700676833
1700676834
2015年，整个职业生涯都在研究这些东西的加里·马库斯（Gary Marcus）表达了一种微妙的观点：“作为研究心智和脑的模型，神经网络的地位仍然很边缘，在研究低层次的感知方面或许有些用，但在解释更复杂、更高层次的认知方面，其作用就很有限了。”[46] 的确，尽管人工智能领域的大多数研究者都从生物学中获得了灵感或遇到了挑战，但他们创造的这些模型中仅有少数几例有助于阐释生物学过程。[47] 学习领域中有一个这样的例子。许多最高效的机器学习程序之所以表现优异，是因为这些程序使用了所谓的“时序差分算法”（这种算法利用了连续预测值之间精准度的差异），最近在围棋对弈中战胜人类的那个程序就使用了这种算法。[48] 2003年的一项研究发现，在人学习的过程中，产生多巴胺的神经元的活动与时序差分模型所预测的完全一致，这为自然学习中也存在这类过程的观点提供了有力的证据。[49] 考虑到时序差分模型可以追溯到对动物学习过程的研究，这样的结果或许并不算让人惊讶。
1700676835
1700676836
一个更好的例子（尽管没有得到充分利用）发生在2013年。哥伦比亚大学理查德·阿克塞尔（Richard Axel）[50] 实验室的苏菲·卡隆（Sophie Caron）和瓦妮莎·鲁塔（Vanessa Ruta）的工作发现，果蝇的嗅觉处理网络的结构本质上遵循神经网络的三级结构，其中的“隐藏层”对应于蘑菇体（mushroom body）——昆虫用来学习气味的脑结构。[51] 他们的研究还发现，不同果蝇个体的蘑菇体的组织方式存在差异，这使蘑菇体看起来像是一个随机组织的结构。阿克塞尔的团队与他们的理论神经科学家同事拉里·阿博特（Larry Abbott）合作，提出这种随机结构可能为果蝇的学习能力提供了基础。阿博特和阿克塞尔随后与珍妮莉亚研究园区的研究人员合作，对此做了进一步的探索。[52] 这些研究表明，每只果蝇蘑菇体中细胞的连接方式都不尽相同，这种随机的组织方式再加上反馈环路（本质上与反向传播相同，但包含一系列细胞）显然使果蝇能够学习气味的重要性，并根据具体情况调整其行为输出。离开理论科学家利用神经网络开展的这些工作，对果蝇脑（或许是人类目前了解最多的动物脑）的这些认识是不可能出现的。然而这是否真的就是果蝇脑的工作方式，还有待观察。[53]
1700676837
1700676838
动物可以非常快地进行学习，有时仅基于单个例子就能学会某个任务，而程序通常需要较长的时间并使用大的训练集，这种差异或许能为如何提高人工智能的能力提供思路。[54] 动物之所以能做出这样了不起的事，是因为它们的神经系统已经进化出对某些特定刺激做出反应的能力——按照康德的观点，这种关系是先验的，脑已经做好了建立某些连接而非另外一些连接的准备。例如，如果一只大鼠在吃了一种新奇的食物后感到不舒服，那么从这一次经历中它就会学会在此后避开这种食物。[55] 但如果你把电击与这种食物，或者把恶心的感觉与新奇的声音关联起来，那么这种单次的经历就不会使大鼠回避这种食物。很明显，由于进化的原因，这种先验的关系只存在于味道与恶心的感觉之间。将这些预先存在的结构添加到人工网络模型中有可能会进一步提高这些模型的性能。
1700676839
1700676840
虽然有这些研究结果，但总的来说，这些惊人的计算机程序并不能产生明确的生物学假说，因此它们并不能阐明真正的脑是如何工作的。在把神经网络程序作为生物学研究指针这一点上，仍然面临的部分问题是，我们还不清楚程序是如何得出这些结果的。这不仅让像我这样的人感到迷惑，也让研究人员感到茫然。事实上，情况一直如此：1987年，“网语”的作者承认，尽管他们能够“理解一些隐藏单元的功能，但在不同的网络中识别具有相同功能的单元是不可能的”。今天的程序不仅复杂得多，甚至更难分解。[56]
1700676841
1700676842
2017年12月，谷歌的人工智能研究者阿里·拉希米（Ali Rahimi）指出，“机器学习已经变成了炼金术”，因为搞不清楚算法具体在做什么。[57] 另一位研究者甚至声称这个领域“充斥着货物崇拜式的操作”[58] ，依赖于“民间传说和魔法咒语”。2019年，在接受《连线》杂志有关神经网络的采访时，杰弗里·辛顿欣然承认“我们真的不知道它们是如何工作的”。[59] 对任何期待神经网络能为脑的工作机制提供理论解释的神经科学家来说，这都是一个警示。许多计算机科学家也意识到，他们同样缺乏一个理论来解释他们那复杂的系统。
1700676843
1700676844
1700676845
1700676846
1700676847
虽然PDP方法取得了突破性的进展，一些批评者仍然很快就开始怀疑它对理解生物学问题有多大用处。1989年，克里克在《自然》杂志上发表了一篇四页的文章，标题带着他惯常的贵族腔调：《有关神经网络的近期佳讯》（The Recent Excitement About Neural Networks）。[60] 1977年，克里克搬到加利福尼亚的索尔克研究所（Salk Institute）从事神经科学研究，成为那里的PDP研究组成员。但很快，他恼火地发现这些程序在生物学上存在一些根本的缺陷，特别是它们缺乏解剖学和生理学上的准确性。尤其让他恼火的是这些程序对反向传播的依赖，他写道：“这几乎不可能发生在真实的脑中。”[61][62]
1700676848
1700676849
克里克的批评涉及的不仅仅是生物学上的不准确性。他还借机抨击了一些研究者的动机，说他怀疑“大多数建模研究者心中都隐藏着一个受挫的数学家，正在蠢蠢欲动”，而且他们的目标是“把一种智力上的体面用到低级趣味的事业上”。克里克随后强调了计算机科学和生物学之间的差距：
1700676850
1700676851
如何构建一台能工作的机器（比如一台高度并行的计算机），这是一个工程问题。工程通常以科学为基础，但其目标是不同的。一件成功的工程作品是一台能做有用之事的机器。另一方面，理解脑是一个科学问题。脑是我们天生就有的，是长期进化的产物。我们并不想知道脑可能是如何工作的，我们想知道它实际上是如何工作的。[63]
1700676852
1700676853
对克里克来说，脑的进化历程意味着它是通过一系列步骤构建起来的，每一步都不是完美的，而只是勉强可用而已，用他的话说，“只要能用，什么都行”。脑并不是设计出来的，因此我们不能确定它是否会体现“深层的普遍原理”。他指出，“脑可能更喜欢耍一系列巧妙的花招来实现它的目标”，我们需要做的不是寻找可能并不存在的逻辑原理，而是“对这个小玩意的仔细探查”。克里克进一步阐述说，科学家应该“深入观察脑，以获得新的想法和测试现有的想法”。4年后，正是这个大的方向促使克里克提出了发展脑连接图谱的倡议。
1700676854
1700676855
不用说，大多数对用计算方法研究行为感兴趣的人都忽略了克里克的建议。一些研究者确实用了一些方法让他们的模型更加贴近现实，例如引入信号分子（如一氧化氮）的扩散效应（这些程序被称为“气网”），或者证明程序的有效执行并不一定需要严格对称的前馈和反馈效应。[64] 但大多数人依旧埋头于自己的工作，创造出越来越让人印象深刻的软件，并且对把自己的工作与脑的解剖学或生理学联系起来毫无兴趣，这一点也不令人意外。[65]
1700676856
1700676857
在克里克表达怨言几年后，一些研究者采用了不同的计算方法。他们没有对一小部分神经元进行建模，也不是在不考虑结构的情况下尝试复制脑产生的行为，而是开始在计算机上模拟神经系统，就像1956年IBM的研究人员所做的那样，但这次的模拟具有高水平的解剖学精确性。
1700676858
1700676859
1994年，吉姆·鲍尔（Jim Bower）和大卫·比曼（David Beeman）出版了一本有关神经网络模拟器编程的书。这本书既是一份宣言，也是一部教程，并且很机灵地将模拟器命名为“创世记”（GENESIS，缩写自GEneral NEural SImulation System）。[66] 这本书顺理成章地被命名为《创世记之书》（The Book of GENESIS ），其章节的标题是哥特手写体，书中附有能在家用电脑上运行系统的软盘。这个程序使研究人员能够模拟区室化的神经元，每个区室上都有突触和不同密度的离子通道，这些离子通道的运作都遵循霍奇金和赫胥黎发现的规律（这一发现本身就涉及建模），连突触上的突触电位都符合现实中的情况。根据研究人员对神经解剖学的兴趣，这些虚拟神经元可以在现实网络中被连接到一起。[67]