1700045750
整个训练过程大致如此。如果网络提供的答案不正确，韦伯斯的算法会计算出哪些连接算出错误答案的概率最高。这部分连接将重新调整。相比罗森布拉特的感知器，通过改变导线的电阻来调整A单元（连接加权）。而在以软件为基础的神经元网络中，软件是通过改变其出错的连接的加权系数进行调节。通常，人工神经元网络的连接权重是以百分比的形式呈现的。如何调节该百分比在任何一项训练中都是很关键的因素。
1700045751
1700045752
如果回答正确，韦伯斯的算法相应地算出哪些连接的正确率最高，然后通过增加权重来加强这部分连接。整个训练过程将不断重复，提供各种狗的图片以及其他的干扰项（除了狗以外其他物品的图片）给感知器判断。
1700045753
1700045754
尽管有了韦伯斯这套成熟的训练算法，神经元网络依然面临着极大的限制。大的神经元网络能够通过数学的方法保证正确识别所有呈现的图片，然而，当遇到新的、不熟悉的狗的图片时，该网络的识别能力将被严重削弱。神经元网络能分别狗的图片和其他不相干的图片，比方说一座桥。但倘若遇上其他四只脚的动物图片，网络的表现将会大打折扣，陷入混乱。这情形就像同学在考试中，遇到多项选择题时，胡乱组合答案。
1700045755
1700045756
然而，充满希望的春天如约而至。先进的数字摄像技术加上韦伯斯误差反向传播算法，在神经元网络的研究里点燃了新的亮光，很快结束了20世纪60年代到70年代的人工智能冬天。如果你仔细研读80年代末至90年代的研究文章，你能感受在这期间，研究领域呈现一片欣欣向荣的景象。研究人员尝试应用神经元网络对太阳底下的一切进行分类：图像、文本、声音。神经网络研究——现在这种行为被重新命名为“联结主义（Connectionism）”——应用领域十分广泛，从对信用卡申请人的评级到药物分析无处不在。
1700045757
1700045758
可是，20世纪90年代的神经元网络研究复兴并没有持续很久。尽管无数的学术文章表明神经网络在人为结构设置的环境中能够取得许多成功，但在实际应用中它却表现不佳。问题恰恰在于机器学习得太好了。神经网络的过度指定（overspecialize）、过拟合（overfit），仿佛一个小孩子能够准确无误地记住数学问题的答案用于应答，而没有理解答案背后的公示。
1700045759
1700045760
过拟合问题在于，神经网络能够学会识别训练过的图片内容，却缺乏“举一反三”、对知识内容扩展的能力。僵化的不变量问题依然没有得到解决。如果人们训练神经网络识别100张猫或狗的照片，它可以成功地对这100张图片正确分类。然而遇到训练内容以外的图片，神经网络将很可悲地遭遇失败。这使得联结主义学界再花上个十年研究，如何在机器出现过拟合之前停止训练。这种方法叫作“提前停止法（Early Stopping）”，只可惜这个方法来得有点晚。
1700045761
1700045762
这一次，对神经网络造成打击的不是人工智能界的逻辑主义阵营，而是来自同一阵营的竞争对手阵营——新的机器学习方法。那个时候，这种机器学习方法，特别是支持向量机（Support Vector Machines）开始盛行。他们相比神经网络的表现进步并不大，却十分诱人。对于视觉识别任务，比如那些对无人驾驶来说十分重要的识别需求，机器表现提高了1%——若是在以秒为单位的、激烈竞争的奥运比赛场上，任何细微的差别都可能扭转赛果，那里是“胜者为王”的赛场。
1700045763
1700045764
支持向量机的大部分进步之处，回想起来，也只是能在路径清晰的发展中避免过拟合的问题。这门技术被称为“常规化（Regularization）”。当同样的过拟合缓解办法应用到神经网络上时，虽然神经网络也能有所提高，可惜这一切太晚了。神经网络研究在20世纪90年代中期再度失宠，对不变量表示（invariant representation）的问题仍旧没有得到解决。
1700045765
1700045766
无人驾驶：人工智能将从颠覆驾驶开始，全面重构人类生活 [:1700043823]
1700045767
神经认知机
1700045768
1700045769
在神经网络的发展历史上还有另一段畸形扭曲、颇具讽刺意味的传奇故事。它发生在20世纪90年代短暂而风光一时的人工智能研究复兴之前，80年代的一款神经网络模型实际上解决了不变量表示的老大难问题。在详细讲述该神经元网络的学术文章刊出以后，引起了许多神经网络研究“顽固对头”的关注。
1700045770
1700045771
1980年，日本科学家邦彦福岛（Kunihiko Fukushima）提出了一种新型的神经网络模型：神经认知机（Neocognitron）。这种新型的神经网络机器使用了许多之前深度学习网络并未应用的新技术，这些技术直到今天在图片识别方面依然出色。然而，在这样一个已经被人们研究多年的领域，福岛的天才发明却缺乏关键的使能技术来引起世界关注。
1700045772
1700045773
福岛的目标是创造出多层神经元网络，能够稳定地进行视觉识别。更准确来说，他的目标是创造一款机器学习软件，用于辨识手写的邮件，并自动分类。
1700045774
1700045775
福岛的网络软件有三大主要且“及时雨般 ”的重大进步。首先，当图片被“喂食”到网络时，并非一步到位，图片是被分成若干组像素群，而不是把整张图片喂食到输入层。这样，第二层的每个神经元并非与输入层的所有图片接收器连接，实际上每个神经元细胞只是与若干像素连接在一起。这些像素之间产生轻微的重叠，这种“滑动窗口（sliding window）”的想法被应用在各个神经元细胞层里。
1700045776
1700045777
第二大进步是神经元克隆。福岛没有使用大量的神经元，而是每一个神经元有着各自的连接。神经认知机每一层的神经元都是克隆的产物，突触连接的力度相同。在这样的前提下，尽管每一层可能有成千上万的突触连接，只需要几个参数就能设置连接的力度。这种构想来源于对数字图像的观察，识别图片左上角的字节的神经元细胞，与识别左下角的字节时的神经元细胞是同一个。换言之，图片的不变量表示意味着网络当中对应的不变量。这样，这款神经认知机的训练进度就将快得多，也平稳得多。
1700045778
1700045779
最后一项改进是由两种类型的神经元组成的网络人工神经元：S细胞用于特征提取，C细胞用于包容这些特征的变化情况。当不同的神经元层交替运用时，就会应用到上述神经元。
1700045780
1700045781
福岛的神经认知器采用了韦伯斯的误差反向传播算法。当某种刺激图形（stimulus pattern）呈现给传感层时，该图形就会被分成几个补丁程序。一个常见的补丁程序包含9个传感器，排成3×3矩阵与下一层的神经元相连。
1700045782
1700045783
在该神经网络中，人工神经元S细胞与C细胞排在重叠的补丁中。重叠的部分是为了确保图形的每一处特征都能被神经元感知到，倘若某处特征没有被准确感知，那么马上启用旁边的神经元。S细胞与C细胞的交替在一起工作，渐渐把碎片化的信息整合成完整的视觉图片信息。每一层细胞都按高低阶层有序排列，下一层能够看到前一层的神经元细胞。那么，当每一层神经元细胞逐渐把碎片整合成完整的图片信息，最里层的神经元也能间接感知到整体视觉效果。
1700045784
1700045785
1700045786
1700045787
1700045788
图9.3 福岛的深度神经网络的结构示意图，圆球代表个体神经元。同一层内的所有神经元都是经过克隆得来的，完全相同。图中显示的是个体神经元在训练中接触到汽车图片时产生的视觉特点。最左边的特征代表基本结构；中部特征代表车辆的局部，如车门和轮胎；最右边的特征代表车辆的整体情况
1700045789
1700045790
来源：国际计算机学会举办的2009年第26届深度学习国际会议，由Honglak Lee、Roger Grosse、Rajesh Ranganath和Andrew Y. Ng合著的《卷积的深度信念网络关于图像分层的可扩展、无监督学习》（Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations），609~616页
1700045791
1700045792
在神经认知器之前，包括罗森布拉特的感知器在内，历史上所有的神经元网络，都把完整的视觉场景一次性输入到第一层神经元网络，事实证明数据过于庞大，无法得到妥当的处理。
1700045793
1700045794
神经认知器是一项奇迹。它独特的结构足够稳定，它能识别在手写信件中每一个字母，轻松识别字母位置的变换。神经认知器的模式是现代深度学习网络的“老祖宗”。它在同时代的图片识别模式中脱颖而出。不久福岛的构想被扬·勒丘恩（Yann LeCun）、约书·本吉奥（Yoshua Bengio）和其他研究人员所借鉴，创造出我们今天的卷积神经网络（convolutional neural networks, CNNs）。“卷积”这个术语指的是克隆某项数学函数，并不断将其应用到重叠的常规矩阵中。
1700045795
1700045796
与降临到感知器头上的厄运相似，神经认知器发展也很缓慢，由于20世纪80年代还没有足够的计算能力支撑。韦伯斯的训练算法也只限于训练3~4层数量的神经网络。随着层数增加，加强信号也会渐渐衰弱，网络学习也相应停止，于是，测试员便无法区分错误的答案出自那些连接。今天我们明白误差反向传播算法从概念上理解是完全正确的，也在实践中，但由于缺乏基础技术与数据不能如设想般顺利运作。
1700045797
1700045798
1990-2000年期间，一些学者尝试采用“浅层化”的仅有两层神经元网络来弥补技术与数据的不足。对于神经网络的数学理论层面来说并不起什么作用，但万能逼近定理（Universal Approximation Theorem）受到了关注。万能逼近定理认为，至少从理论上来说，神经网络实际上只需要一层“隐形的”神经元，用于任何可量化的函数中接近所需达到的准确度。换言之，根据定理，从数学范畴来看，浅层化网络能够不受任何理论限制，必将取得成功。
1700045799