1700045737
无人驾驶：人工智能将从颠覆驾驶开始，全面重构人类生活 [:1700043822]
1700045738
神经网络研究的复兴
1700045739
1700045740
符号型人工智能高速发展的同时，神经网络研究仍旧在艰难起步。到如今，“感知器”已经演变为神经网络中某一层神经元的通称。有趣的是，模拟硬件装置的命运与原始的感知器相似，已经被搁置一边。人工智能专家专注于在软件里打造神经网络。
1700045741
1700045742
1975年，哈佛博士生保罗·韦伯斯（Paul Werbos）发明了一种新型、改良的感知器。韦伯斯为推进人工神经网络的发展做出了两项重要的贡献。第一，他推出的神经网络不仅能输出“1”和“0”，还能输出分数数值。例如，0.5的计算值意味着神经元对该答案的“无法确定”。与罗森布拉特的感知器相比，那台原始的“马克1号”只能纯粹输出“1”和“0”，灯泡所能以“点亮”和“熄灭”的方式表示只能“是”或“否”，没有介于两者之间的表达。
1700045743
1700045744
第二项贡献是韦伯斯提出了一项新的训练算法“误差反向传播算法（Error Backpropagation）”。这样一来，人工神经元能够以分数的形式来处理各种不确定性，误差反向传播算法用于训练多层神经网络的共同运作。罗森布拉特感知器的主要限制之一是输出的神经元层只能输出“是/否”两个答案，导致学习曲线过分陡峭，拖延进度。韦伯斯的新一代人工神经元网络能使多层神经元联动，大幅度增加了其模式识别能力，也因此拓展了其潜在应用范围。这种新结构有利于提高神经元网络处理复杂的模式分类问题。事实上，韦伯斯最先解决的难题就是此前一直被认为神经元无法破解的异或运算问题。
1700045745
1700045746
假设我们使用韦伯斯的方法来训练神经元网络识别各种狗。首先，我们把一张20×20网络像素的狗的数字图片呈现给神经元网络。传感层把信号传送给由400个人工神经元组成的首层神经元网络，首层接收后通过加权连接把信号传给第二层，第二层再次通过加权连接把信号传给第三层，如此类推。
1700045747
1700045748
最后，当信号经过所有的中间层以后，抵达输出层。输出层由单一神经元细胞构成。该神经元细胞回答道：“这是一张狗的图片吗？”在能实现分数回应的前提下，网络能根据答案的确定程度，在0~1的范围内给出答案。例如，神经元网络给出的答案是0.9，这意味着它比较确定图片的中的物体是一只狗，但不能百分百确定。
1700045749
1700045750
整个训练过程大致如此。如果网络提供的答案不正确，韦伯斯的算法会计算出哪些连接算出错误答案的概率最高。这部分连接将重新调整。相比罗森布拉特的感知器，通过改变导线的电阻来调整A单元（连接加权）。而在以软件为基础的神经元网络中，软件是通过改变其出错的连接的加权系数进行调节。通常，人工神经元网络的连接权重是以百分比的形式呈现的。如何调节该百分比在任何一项训练中都是很关键的因素。
1700045751
1700045752
如果回答正确，韦伯斯的算法相应地算出哪些连接的正确率最高，然后通过增加权重来加强这部分连接。整个训练过程将不断重复，提供各种狗的图片以及其他的干扰项（除了狗以外其他物品的图片）给感知器判断。
1700045753
1700045754
尽管有了韦伯斯这套成熟的训练算法，神经元网络依然面临着极大的限制。大的神经元网络能够通过数学的方法保证正确识别所有呈现的图片，然而，当遇到新的、不熟悉的狗的图片时，该网络的识别能力将被严重削弱。神经元网络能分别狗的图片和其他不相干的图片，比方说一座桥。但倘若遇上其他四只脚的动物图片，网络的表现将会大打折扣，陷入混乱。这情形就像同学在考试中，遇到多项选择题时，胡乱组合答案。
1700045755
1700045756
然而，充满希望的春天如约而至。先进的数字摄像技术加上韦伯斯误差反向传播算法，在神经元网络的研究里点燃了新的亮光，很快结束了20世纪60年代到70年代的人工智能冬天。如果你仔细研读80年代末至90年代的研究文章，你能感受在这期间，研究领域呈现一片欣欣向荣的景象。研究人员尝试应用神经元网络对太阳底下的一切进行分类：图像、文本、声音。神经网络研究——现在这种行为被重新命名为“联结主义（Connectionism）”——应用领域十分广泛，从对信用卡申请人的评级到药物分析无处不在。
1700045757
1700045758
可是，20世纪90年代的神经元网络研究复兴并没有持续很久。尽管无数的学术文章表明神经网络在人为结构设置的环境中能够取得许多成功，但在实际应用中它却表现不佳。问题恰恰在于机器学习得太好了。神经网络的过度指定（overspecialize）、过拟合（overfit），仿佛一个小孩子能够准确无误地记住数学问题的答案用于应答，而没有理解答案背后的公示。
1700045759
1700045760
过拟合问题在于，神经网络能够学会识别训练过的图片内容，却缺乏“举一反三”、对知识内容扩展的能力。僵化的不变量问题依然没有得到解决。如果人们训练神经网络识别100张猫或狗的照片，它可以成功地对这100张图片正确分类。然而遇到训练内容以外的图片，神经网络将很可悲地遭遇失败。这使得联结主义学界再花上个十年研究，如何在机器出现过拟合之前停止训练。这种方法叫作“提前停止法（Early Stopping）”，只可惜这个方法来得有点晚。
1700045761
1700045762
这一次，对神经网络造成打击的不是人工智能界的逻辑主义阵营，而是来自同一阵营的竞争对手阵营——新的机器学习方法。那个时候，这种机器学习方法，特别是支持向量机（Support Vector Machines）开始盛行。他们相比神经网络的表现进步并不大，却十分诱人。对于视觉识别任务，比如那些对无人驾驶来说十分重要的识别需求，机器表现提高了1%——若是在以秒为单位的、激烈竞争的奥运比赛场上，任何细微的差别都可能扭转赛果，那里是“胜者为王”的赛场。
1700045763
1700045764
支持向量机的大部分进步之处，回想起来，也只是能在路径清晰的发展中避免过拟合的问题。这门技术被称为“常规化（Regularization）”。当同样的过拟合缓解办法应用到神经网络上时，虽然神经网络也能有所提高，可惜这一切太晚了。神经网络研究在20世纪90年代中期再度失宠，对不变量表示（invariant representation）的问题仍旧没有得到解决。
1700045765
1700045766
无人驾驶：人工智能将从颠覆驾驶开始，全面重构人类生活 [:1700043823]
1700045767
神经认知机
1700045768
1700045769
在神经网络的发展历史上还有另一段畸形扭曲、颇具讽刺意味的传奇故事。它发生在20世纪90年代短暂而风光一时的人工智能研究复兴之前，80年代的一款神经网络模型实际上解决了不变量表示的老大难问题。在详细讲述该神经元网络的学术文章刊出以后，引起了许多神经网络研究“顽固对头”的关注。
1700045770
1700045771
1980年，日本科学家邦彦福岛（Kunihiko Fukushima）提出了一种新型的神经网络模型：神经认知机（Neocognitron）。这种新型的神经网络机器使用了许多之前深度学习网络并未应用的新技术，这些技术直到今天在图片识别方面依然出色。然而，在这样一个已经被人们研究多年的领域，福岛的天才发明却缺乏关键的使能技术来引起世界关注。
1700045772
1700045773
福岛的目标是创造出多层神经元网络，能够稳定地进行视觉识别。更准确来说，他的目标是创造一款机器学习软件，用于辨识手写的邮件，并自动分类。
1700045774
1700045775
福岛的网络软件有三大主要且“及时雨般 ”的重大进步。首先，当图片被“喂食”到网络时，并非一步到位，图片是被分成若干组像素群，而不是把整张图片喂食到输入层。这样，第二层的每个神经元并非与输入层的所有图片接收器连接，实际上每个神经元细胞只是与若干像素连接在一起。这些像素之间产生轻微的重叠，这种“滑动窗口（sliding window）”的想法被应用在各个神经元细胞层里。
1700045776
1700045777
第二大进步是神经元克隆。福岛没有使用大量的神经元，而是每一个神经元有着各自的连接。神经认知机每一层的神经元都是克隆的产物，突触连接的力度相同。在这样的前提下，尽管每一层可能有成千上万的突触连接，只需要几个参数就能设置连接的力度。这种构想来源于对数字图像的观察，识别图片左上角的字节的神经元细胞，与识别左下角的字节时的神经元细胞是同一个。换言之，图片的不变量表示意味着网络当中对应的不变量。这样，这款神经认知机的训练进度就将快得多，也平稳得多。
1700045778
1700045779
最后一项改进是由两种类型的神经元组成的网络人工神经元：S细胞用于特征提取，C细胞用于包容这些特征的变化情况。当不同的神经元层交替运用时，就会应用到上述神经元。
1700045780
1700045781
福岛的神经认知器采用了韦伯斯的误差反向传播算法。当某种刺激图形（stimulus pattern）呈现给传感层时，该图形就会被分成几个补丁程序。一个常见的补丁程序包含9个传感器，排成3×3矩阵与下一层的神经元相连。
1700045782
1700045783
在该神经网络中，人工神经元S细胞与C细胞排在重叠的补丁中。重叠的部分是为了确保图形的每一处特征都能被神经元感知到，倘若某处特征没有被准确感知，那么马上启用旁边的神经元。S细胞与C细胞的交替在一起工作，渐渐把碎片化的信息整合成完整的视觉图片信息。每一层细胞都按高低阶层有序排列，下一层能够看到前一层的神经元细胞。那么，当每一层神经元细胞逐渐把碎片整合成完整的图片信息，最里层的神经元也能间接感知到整体视觉效果。
1700045784
1700045785
1700045786