1700045716
1700045717
人工智能研究的舞台从此拉开了两大主流学派长时期的理论之争：符号主义，主张由程序员编写代码搭建逻辑模型；神经网络，以机器学习为特点，通过数据驱动方法实现。作为人工智能研究资金的主要来源，军队一直密切观察哪一方在两大阵营斗争中占据上风。唯恐某一种人工智能范式垄断各界，那些为符号型人工智能呕心沥血的研究人员纷纷加入这场战争，坚信神经网络研究势必衰亡。
1700045718
1700045719
1969年，明斯基向罗森布拉特发起最后一击，携手麻省理工学院同事西蒙·派珀特（Seymour Papert）出版了《认知器演算法》（Perceptrons）一书。这本著作内容丰富，其中提及一项数学证明，旨在证实“感知器无法学会人工智能领域中任何一个简单的模式”：异或运算模式（XOR pattern）。就像音乐家使用C调音阶对乐器进行测试和热身，人工智能研究者通常用异或运算模式来测试机器学习算法。乐器出现任何的跑调情况都将如实反映在C调音阶上。如果连简单的异或运算模式都学不会，这就说明机器学习效率极低。
1700045720
1700045721
异或运算模式展现的是，所谓的逻辑互斥操作。如果两个字节不相同，操作员返回“1”；如果两个字节相同，则返回“0”。
1700045722
1700045723
明斯基和派珀特并没有真正地把异或运算模式应用到罗森布拉特的感知器上。他们采用数学建模的办法。他们用并不复杂的证据证明，不管经过多长时间的训练，罗森布拉特的感知器都无法学会模式识别。因为这个建模结果，明斯基和派珀特宣称，感知器无法学会识别任何模式，就连基础的模式也无法识别。
1700045724
1700045725
争论双方都有道理。确实，诚如明斯基指出，如果只凭借自己学习，感知器所能学会的非常有限。同时罗森布拉特也并没有宣称感知器能学会任何技能。明斯基从字面上理解罗森布拉特的话，实际上罗森布拉特指的是一种理论化的、潜在、未来的机器学习能力，机器是由多层感知器层层叠加而成，而不指他所制造的“马克1号”。
1700045726
1700045727
具有讽刺意味的是，将近15年后，罗森布拉特的预言成真：计算能力的提高使神经网络的结构越来越精密，包含数十个电子层，层与层之间的连接节点高达数百万个。遗憾的是，在那个年代，罗森布拉特缺乏成熟的技术支持来回应明斯基和派珀特的挑战。多层感知器网络本可以证明罗森布拉特的正确，可在当时他的“感知器培训算法”只适用于单层感知器。
1700045728
1700045729
在这场激烈的理论之战发生的20世纪60年代末期，当时的计算机不仅体型庞大，而且计算速度缓慢。明斯基的理论获得了联邦科学基金会的认同，把明斯基的“自上而下”符号型人工智能范式视为最佳途径。结果，神经网络研究的资金被停止。
1700045730
1700045731
感知器项目戛然而止，所有曾经从事神经网络工作的研究员在这恶劣的学术环境下都不得不半途而废。此后不久，1971年夏，罗森布拉特于生日当天，在切萨皮克湾的一次船只事故中去世。他英年早逝，年仅43岁。而其高中同学兼竞争对手，明斯基日后成了符号型人工智能技术领域的发展先驱，研发出随后几十年内在人工智能领域独领风骚的技术。
1700045732
1700045733
讽刺的是，明斯基此后走上了罗森布拉特的道路，并在若干年后向媒体夸夸其谈人工智能技术的潜力。1970年的《生活》（Life）刊登了明斯基访谈内容，随后引起一阵轰动。明斯基发表了一次臭名昭著的声明：“在3~8年内，我们将研发出达到人类平均智力水平的机器。我指的是，机器人能阅读莎士比亚的作品，洗车、搞办公室政治、讲笑话、打架。到那时，机器能开始以良好的速度进行自学。几个月后它的学习水平将达到天才级别，再过几个月，它的能力将难以估量。”尽管随着时间的流逝，明斯基的想法被证明完全错误，但在当时的几年内这种说法还是兴盛一时。
1700045734
1700045735
在麻省理工学院的机器人博物馆里，明斯基被视为英雄，具有远见卓识。然而由于他的固执阻挠，破坏了人们对早期神经网络的探索，把人工智能研究带入漫长黑暗的“死胡同”长达几十年。20世纪70年代是符号型人工智能发展的黄金时期。大量的研究人员通过编程方法投入仿真人类智商研究，这也凸显了人类对大脑工作原理的无知。
1700045736
1700045738
神经网络研究的复兴
1700045739
1700045740
符号型人工智能高速发展的同时，神经网络研究仍旧在艰难起步。到如今，“感知器”已经演变为神经网络中某一层神经元的通称。有趣的是，模拟硬件装置的命运与原始的感知器相似，已经被搁置一边。人工智能专家专注于在软件里打造神经网络。
1700045741
1700045742
1975年，哈佛博士生保罗·韦伯斯（Paul Werbos）发明了一种新型、改良的感知器。韦伯斯为推进人工神经网络的发展做出了两项重要的贡献。第一，他推出的神经网络不仅能输出“1”和“0”，还能输出分数数值。例如，0.5的计算值意味着神经元对该答案的“无法确定”。与罗森布拉特的感知器相比，那台原始的“马克1号”只能纯粹输出“1”和“0”，灯泡所能以“点亮”和“熄灭”的方式表示只能“是”或“否”，没有介于两者之间的表达。
1700045743
1700045744
第二项贡献是韦伯斯提出了一项新的训练算法“误差反向传播算法（Error Backpropagation）”。这样一来，人工神经元能够以分数的形式来处理各种不确定性，误差反向传播算法用于训练多层神经网络的共同运作。罗森布拉特感知器的主要限制之一是输出的神经元层只能输出“是/否”两个答案，导致学习曲线过分陡峭，拖延进度。韦伯斯的新一代人工神经元网络能使多层神经元联动，大幅度增加了其模式识别能力，也因此拓展了其潜在应用范围。这种新结构有利于提高神经元网络处理复杂的模式分类问题。事实上，韦伯斯最先解决的难题就是此前一直被认为神经元无法破解的异或运算问题。
1700045745
1700045746
假设我们使用韦伯斯的方法来训练神经元网络识别各种狗。首先，我们把一张20×20网络像素的狗的数字图片呈现给神经元网络。传感层把信号传送给由400个人工神经元组成的首层神经元网络，首层接收后通过加权连接把信号传给第二层，第二层再次通过加权连接把信号传给第三层，如此类推。
1700045747
1700045748
最后，当信号经过所有的中间层以后，抵达输出层。输出层由单一神经元细胞构成。该神经元细胞回答道：“这是一张狗的图片吗？”在能实现分数回应的前提下，网络能根据答案的确定程度，在0~1的范围内给出答案。例如，神经元网络给出的答案是0.9，这意味着它比较确定图片的中的物体是一只狗，但不能百分百确定。
1700045749
1700045750
整个训练过程大致如此。如果网络提供的答案不正确，韦伯斯的算法会计算出哪些连接算出错误答案的概率最高。这部分连接将重新调整。相比罗森布拉特的感知器，通过改变导线的电阻来调整A单元（连接加权）。而在以软件为基础的神经元网络中，软件是通过改变其出错的连接的加权系数进行调节。通常，人工神经元网络的连接权重是以百分比的形式呈现的。如何调节该百分比在任何一项训练中都是很关键的因素。
1700045751
1700045752
如果回答正确，韦伯斯的算法相应地算出哪些连接的正确率最高，然后通过增加权重来加强这部分连接。整个训练过程将不断重复，提供各种狗的图片以及其他的干扰项（除了狗以外其他物品的图片）给感知器判断。
1700045753
1700045754
尽管有了韦伯斯这套成熟的训练算法，神经元网络依然面临着极大的限制。大的神经元网络能够通过数学的方法保证正确识别所有呈现的图片，然而，当遇到新的、不熟悉的狗的图片时，该网络的识别能力将被严重削弱。神经元网络能分别狗的图片和其他不相干的图片，比方说一座桥。但倘若遇上其他四只脚的动物图片，网络的表现将会大打折扣，陷入混乱。这情形就像同学在考试中，遇到多项选择题时，胡乱组合答案。
1700045755
1700045756
然而，充满希望的春天如约而至。先进的数字摄像技术加上韦伯斯误差反向传播算法，在神经元网络的研究里点燃了新的亮光，很快结束了20世纪60年代到70年代的人工智能冬天。如果你仔细研读80年代末至90年代的研究文章，你能感受在这期间，研究领域呈现一片欣欣向荣的景象。研究人员尝试应用神经元网络对太阳底下的一切进行分类：图像、文本、声音。神经网络研究——现在这种行为被重新命名为“联结主义（Connectionism）”——应用领域十分广泛，从对信用卡申请人的评级到药物分析无处不在。
1700045757
1700045758
可是，20世纪90年代的神经元网络研究复兴并没有持续很久。尽管无数的学术文章表明神经网络在人为结构设置的环境中能够取得许多成功，但在实际应用中它却表现不佳。问题恰恰在于机器学习得太好了。神经网络的过度指定（overspecialize）、过拟合（overfit），仿佛一个小孩子能够准确无误地记住数学问题的答案用于应答，而没有理解答案背后的公示。
1700045759
1700045760
过拟合问题在于，神经网络能够学会识别训练过的图片内容，却缺乏“举一反三”、对知识内容扩展的能力。僵化的不变量问题依然没有得到解决。如果人们训练神经网络识别100张猫或狗的照片，它可以成功地对这100张图片正确分类。然而遇到训练内容以外的图片，神经网络将很可悲地遭遇失败。这使得联结主义学界再花上个十年研究，如何在机器出现过拟合之前停止训练。这种方法叫作“提前停止法（Early Stopping）”，只可惜这个方法来得有点晚。
1700045761
1700045762
这一次，对神经网络造成打击的不是人工智能界的逻辑主义阵营，而是来自同一阵营的竞争对手阵营——新的机器学习方法。那个时候，这种机器学习方法，特别是支持向量机（Support Vector Machines）开始盛行。他们相比神经网络的表现进步并不大，却十分诱人。对于视觉识别任务，比如那些对无人驾驶来说十分重要的识别需求，机器表现提高了1%——若是在以秒为单位的、激烈竞争的奥运比赛场上，任何细微的差别都可能扭转赛果，那里是“胜者为王”的赛场。
1700045763
1700045764
支持向量机的大部分进步之处，回想起来，也只是能在路径清晰的发展中避免过拟合的问题。这门技术被称为“常规化（Regularization）”。当同样的过拟合缓解办法应用到神经网络上时，虽然神经网络也能有所提高，可惜这一切太晚了。神经网络研究在20世纪90年代中期再度失宠，对不变量表示（invariant representation）的问题仍旧没有得到解决。
1700045765
[
上一页 ]
[ :1.700045716e+09 ]
[
下一页 ]