1700045766
无人驾驶：人工智能将从颠覆驾驶开始，全面重构人类生活 [:1700043823]
1700045767
神经认知机
1700045768
1700045769
在神经网络的发展历史上还有另一段畸形扭曲、颇具讽刺意味的传奇故事。它发生在20世纪90年代短暂而风光一时的人工智能研究复兴之前，80年代的一款神经网络模型实际上解决了不变量表示的老大难问题。在详细讲述该神经元网络的学术文章刊出以后，引起了许多神经网络研究“顽固对头”的关注。
1700045770
1700045771
1980年，日本科学家邦彦福岛（Kunihiko Fukushima）提出了一种新型的神经网络模型：神经认知机（Neocognitron）。这种新型的神经网络机器使用了许多之前深度学习网络并未应用的新技术，这些技术直到今天在图片识别方面依然出色。然而，在这样一个已经被人们研究多年的领域，福岛的天才发明却缺乏关键的使能技术来引起世界关注。
1700045772
1700045773
福岛的目标是创造出多层神经元网络，能够稳定地进行视觉识别。更准确来说，他的目标是创造一款机器学习软件，用于辨识手写的邮件，并自动分类。
1700045774
1700045775
福岛的网络软件有三大主要且“及时雨般 ”的重大进步。首先，当图片被“喂食”到网络时，并非一步到位，图片是被分成若干组像素群，而不是把整张图片喂食到输入层。这样，第二层的每个神经元并非与输入层的所有图片接收器连接，实际上每个神经元细胞只是与若干像素连接在一起。这些像素之间产生轻微的重叠，这种“滑动窗口（sliding window）”的想法被应用在各个神经元细胞层里。
1700045776
1700045777
第二大进步是神经元克隆。福岛没有使用大量的神经元，而是每一个神经元有着各自的连接。神经认知机每一层的神经元都是克隆的产物，突触连接的力度相同。在这样的前提下，尽管每一层可能有成千上万的突触连接，只需要几个参数就能设置连接的力度。这种构想来源于对数字图像的观察，识别图片左上角的字节的神经元细胞，与识别左下角的字节时的神经元细胞是同一个。换言之，图片的不变量表示意味着网络当中对应的不变量。这样，这款神经认知机的训练进度就将快得多，也平稳得多。
1700045778
1700045779
最后一项改进是由两种类型的神经元组成的网络人工神经元：S细胞用于特征提取，C细胞用于包容这些特征的变化情况。当不同的神经元层交替运用时，就会应用到上述神经元。
1700045780
1700045781
福岛的神经认知器采用了韦伯斯的误差反向传播算法。当某种刺激图形（stimulus pattern）呈现给传感层时，该图形就会被分成几个补丁程序。一个常见的补丁程序包含9个传感器，排成3×3矩阵与下一层的神经元相连。
1700045782
1700045783
在该神经网络中，人工神经元S细胞与C细胞排在重叠的补丁中。重叠的部分是为了确保图形的每一处特征都能被神经元感知到，倘若某处特征没有被准确感知，那么马上启用旁边的神经元。S细胞与C细胞的交替在一起工作，渐渐把碎片化的信息整合成完整的视觉图片信息。每一层细胞都按高低阶层有序排列，下一层能够看到前一层的神经元细胞。那么，当每一层神经元细胞逐渐把碎片整合成完整的图片信息，最里层的神经元也能间接感知到整体视觉效果。
1700045784
1700045785
1700045786
1700045787
1700045788
图9.3 福岛的深度神经网络的结构示意图，圆球代表个体神经元。同一层内的所有神经元都是经过克隆得来的，完全相同。图中显示的是个体神经元在训练中接触到汽车图片时产生的视觉特点。最左边的特征代表基本结构；中部特征代表车辆的局部，如车门和轮胎；最右边的特征代表车辆的整体情况
1700045789
1700045790
来源：国际计算机学会举办的2009年第26届深度学习国际会议，由Honglak Lee、Roger Grosse、Rajesh Ranganath和Andrew Y. Ng合著的《卷积的深度信念网络关于图像分层的可扩展、无监督学习》（Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations），609~616页
1700045791
1700045792
在神经认知器之前，包括罗森布拉特的感知器在内，历史上所有的神经元网络，都把完整的视觉场景一次性输入到第一层神经元网络，事实证明数据过于庞大，无法得到妥当的处理。
1700045793
1700045794
神经认知器是一项奇迹。它独特的结构足够稳定，它能识别在手写信件中每一个字母，轻松识别字母位置的变换。神经认知器的模式是现代深度学习网络的“老祖宗”。它在同时代的图片识别模式中脱颖而出。不久福岛的构想被扬·勒丘恩（Yann LeCun）、约书·本吉奥（Yoshua Bengio）和其他研究人员所借鉴，创造出我们今天的卷积神经网络（convolutional neural networks, CNNs）。“卷积”这个术语指的是克隆某项数学函数，并不断将其应用到重叠的常规矩阵中。
1700045795
1700045796
与降临到感知器头上的厄运相似，神经认知器发展也很缓慢，由于20世纪80年代还没有足够的计算能力支撑。韦伯斯的训练算法也只限于训练3~4层数量的神经网络。随着层数增加，加强信号也会渐渐衰弱，网络学习也相应停止，于是，测试员便无法区分错误的答案出自那些连接。今天我们明白误差反向传播算法从概念上理解是完全正确的，也在实践中，但由于缺乏基础技术与数据不能如设想般顺利运作。
1700045797
1700045798
1990-2000年期间，一些学者尝试采用“浅层化”的仅有两层神经元网络来弥补技术与数据的不足。对于神经网络的数学理论层面来说并不起什么作用，但万能逼近定理（Universal Approximation Theorem）受到了关注。万能逼近定理认为，至少从理论上来说，神经网络实际上只需要一层“隐形的”神经元，用于任何可量化的函数中接近所需达到的准确度。换言之，根据定理，从数学范畴来看，浅层化网络能够不受任何理论限制，必将取得成功。
1700045799
1700045800
另一方面，万能逼近定理惠及神经网络发展。毕竟，这是一个好消息，神经网络的整体核心概念是行得通的（至少从数学上看），也具备投资价值。另一方面，数学证明再次误导了研究人员，他们向错误的方向疾驰而去。他们尝试证明不增加层数，只改进训练算法的办法，来提高隐形的神经网络层的性能。
1700045801
1700045802
由于20世纪80年代到90年代的技术限制，许多专家非常遗憾地认为万能逼近定理意味着尝试建造超过两层的神经网络没有意义。这就是一个人投入宝贵的时间和资源用于建造多层神经元网络。乐观来说，研究有风险；悲观来看，纯粹是浪费时间。
1700045803
1700045804
时间将证明神经网络不需要更好的训练算法，也不需要大量的单层神经元。它只是需要很多的神经元层与专门用途的神经元细胞，并以串联重叠的形式排列。多亏了社交媒体，另一种急需的重要因素终于在新世纪初浮出了水面——数据，大量各式各样的数字图片开始用于训练深度神经网络。
1700045805
1700045806
无人驾驶：人工智能将从颠覆驾驶开始，全面重构人类生活 [:1700043824]
1700045807
深度学习的诞生
1700045808
1700045809
如同新生儿，机器通过接触大量的信息进行学习，即数据密集型办法。在训练算法中，所需的数据数量通常与问题的难度成正比。相比之下，教会一台机器辨别三角形与正方形，比教一台机器成功辨别男性与女性要简单得多。罗森布拉特的感知器只需要调整512处节点的权重，所以用于培训的图片数量相对较少。大型的神经网络（无论深层与否）都包含上百万的连接，因此需要上百万张训练图片。
1700045810
1700045811
如果把算法比作引擎，数据就是所添加的汽油。引擎如果缺少汽油，是无法运作的，同理，没有数据支撑的机器学习算法就是个不中用的摆设。
1700045812
1700045813
20世纪，大部分机器视觉的研究人员都承认数据对于训练的重要性。在计算机发展历史上看，绝大多数情况下，数字图像是很难获得。于是，图像识别算法的发展使用了“数据稀疏法（data-sparse approaches）”。由于数据稀有，机器的学习训练就只能演变成类似生物界的物竞天择——必须适应食物稀少的环境一样，只能集中精力发展运作高效、使用对数据数量要求不高的算法。
1700045814
1700045815
数十年来，高效的机器学习算法的需求仿佛把研究人员带进了《爱丽丝漫游仙境》里的兔子洞，进入另一个满是询问和微调的计算机算法世界，他们努力地从有限的数据集中争取1%的性能提升空间。同样的想法也能推论出人设计的正确算法比受生物界启发的办法更有价值——人类的认知能力通常伴有充足的数据与快速、大量的平行计算等特点。