1704610086
人工智能：改变世界，重建未来 神经网络的守护神
1704610087
1704610088
杰夫·辛顿出生于1947年，是现代神经网络最重要的人物之一。作为一名谦逊的英国计算机科学家，他对其所在领域的发展产生的影响很少有人能企及。他出生于一个数学家家庭：他的曾祖父是著名的逻辑学家乔治·布尔（George Boole），他的布尔代数曾为现代计算机科学奠定了基础。另一位亲戚是数学家查尔斯·霍华德·辛顿（Charles Howard Hinton），因提出“四维空间”这一理念而闻名，阿莱斯特·克劳利（Aleister Crowley）在其小说《月之子》中曾经两次提到了辛顿。
1704610089
1704610090
辛顿说：“我一直对人类如何思考以及大脑如何工作很感兴趣。”上学时，一个同学说大脑储存记忆的方式和3D全息图像储存光源信息的方式是一样的。要想创建一个全息图，人们会将多个光束从一件物品上反射回来，然后将相关信息记录在一个庞大的数据库中。大脑也是这样工作的，只是将光束换成了神经元。由于这一发现，辛顿在剑桥大学选择了研究哲学和心理学，之后又在苏格兰爱丁堡大学研究人工智能。辛顿在20世纪70年代中期来到寒冷的爱丁堡，人工智能领域遭遇的首个冬天几乎在同一时期到来。尽管传统人工智能刚刚遭受打击，但辛顿的博士导师仍急于让他远离神经网络。辛顿说：“他一直试着让我放弃神经网络的研究并投入到符号人工智能领域。为了能够有更多时间研究神经网络，我必须不断和他讨价还价。”
1704610091
1704610092
辛顿并没有获得其他的支持。学生们认为他是疯了才会在明斯基和派珀特完全否认神经网络后还继续研究。辛顿在爱丁堡期间，明斯基的学生帕特里克·温斯顿（Patrick Winston）出版了一本早期人工智能教材。书中记载着有关神经网络的内容：
1704610093
1704610094
许多古希腊人都支持苏格拉底的一个观点，即深奥且令人费解的思想是上帝创造的。如今，对这些漂泊无定的人而言，甚至概率神经元都相当于上帝。很有可能的是，神经元行为的随机性的提高是癫痫病患者和醉酒的人的问题，而不是聪明人的优势。
1704610095
1704610096
人们对温斯顿的思想十分不屑，但是他当时对神经网络的类似于宗教信仰般的看法并不是完全错误的。辛顿对人脑必须以某种方式工作这一认识十分欣慰，很明显，这是无法用传统的符号人工智能来解释的。他说：“大多数常识推理都是凭直觉或以类比的方式做出的，其中并不涉及意识推理。”辛顿认为，传统人工智能的错误之处在于：其认为，任何事都是由一系列基本规则和有意识推理组成的。对符号人工智能研究人员来说，如果我们不能理解某一部分的意识，这是因为我们还没有弄懂其背后的推理。
1704610097
1704610098
毕业以后，辛顿暂时在英国苏塞克斯从事博士后工作，之后收到了一份来自美国的工作邀请。于是，辛顿打点行装，搬到了加州大学，不久以后，又搬到了卡内基–梅隆大学。在接下来的几年里，他一直积极努力在神经网络领域取得开创性进展，即便到了今天，其成就仍对人工智能的研究产生着影响。
1704610099
1704610100
他最重要的贡献之一，要算是他对另一位研究人员戴维·鲁梅尔哈特的帮助，帮助他再次发现“反向传播”流程，这大概是神经网络中最重要的算法，之后他们首次以可信的方式证明，“反向传播”使神经网络能够创建属于自己的内部表征。当输出与创造者希望的情况不符时，“反向传播”使神经网络能够调节其隐藏层。发生这种情况时，神经网络将创建一个“错误信号”，该信号将通过神经网络传送回输入节点。随着错误一层层传递，网络的权重也随之改变，这样就能够将错误最小化。试想一下，有一个神经网络能够识别图像，如果在分析一张狗的图片时，神经网络错误地判断为这是一张猫的图片，那么“反向传播”将使其退回到前面的层，每层都会对输入连接的权重做出轻微调整，这样一来，下次就能够获得正确的答案。
1704610101
1704610102
20世纪80年代创建的“NETtalk”项目是“反向传播”的一个经典案例。NETtalk的一个共同创建者特里·谢伊诺斯基将其描述为用于了解电脑是否能够学习大声朗读书面文字的“夏季项目”。该项目面临的最大挑战在于语言一点也不简单。项目刚刚开始的时候，谢伊诺斯基去图书馆借了一本有关音韵学的书，即诺姆·乔姆斯基（Noam Chomsky）和莫里斯·哈雷（Morris Halle）所著的《英语语音模式》。谢伊诺斯基说：“这本书里都是各种事情的规则，例如字母e出现在单词末尾的时候应该如何发音等。书中提到了例外情况，之后又列举了例外情况中的例外。英语就是大量的复杂关联。我们似乎选择了世界上在规则性方面最糟糕的语言。”
1704610103
1704610104
一直以来，传统人工智能都在不断尝试将这些单独的例子插入到一个专家系统中。谢伊诺斯基和一位名为查尔斯·罗森伯格（Charles Rosenberg）的语言研究人员决定通过创建一个由300个神经元组成的神经网络来实现这一目标。当时，辛顿正在实验室访问，他建议他们在项目的最开始使用儿童书籍来训练该系统，这本书的词汇量一定要小。起初，这项任务十分艰难，计算机一次只能读一个单词，而他们必须为每个字母都标注正确的音素。例如，字母e在“shed”、“pretty”、“anthem”、“café”或“sergeant”中的发音各不相同。谢伊诺斯基和罗森伯格每次进行说明的时候，他们创建的神经网络都悄悄地调节对每个连接的权重。该系统面临的最大挑战是使机器能够正确发出每个单词中间部分的音节。为了做到这一点，神经网络必须使用中间字母左边和右边的字母给出的提示。
1704610105
1704610106
一天下来，NETtalk已经全部掌握了书中的100个单词。这一结果令他们感到震惊。接下来，他们让NETtalk使用有20 000个单词的韦伯词典。幸运的是，词典中的所有音素都已经标注出来了。他们下午把单词输入到系统中，然后就回家休息了。当他们第二天早上回到办公室时，系统已经完全掌握了这些单词。
1704610107
1704610108
最后的训练数据是一本对儿童说话内容进行誊写的书，以及一位语言学家记录的儿童发出的实际音素的清单。这就意味着，谢伊诺斯基和罗森伯格能够将第一个誊写本用于输入层，将第二个音素清单用于输出层。使用“反向传播”以后，NETtalk能够学习如何像孩子那样说话。一段NETtalk的录音说明了该系统在这方面取得了飞速的进展。在训练之初，系统只能够区分元音和辅音，其发出的噪声则像是歌手表演前做的发声练习。在训练了1 000个单词以后，NETtalk发出的声音更接近人类发出的声音了。谢伊诺斯基说道：“我们完全震惊了，尤其是在当时计算机的计算能力还不如现在的手表的情况下。”
1704610109
1704610110
1704610111
1704610112
1704610114
人工智能：改变世界，重建未来 联结主义者
1704610115
1704610116
有了杰夫·辛顿等人的帮助，神经网络开始蓬勃发展。当时有一个传统，那就是继任的一代都会给自己重新命名，新研究人员们称自己为“联结主义者”，因为他们对复制大脑中的神经联结十分感兴趣。到1991年，仅在美国就有1万名活跃的联结理论研究人员。
1704610117
1704610118
忽然之间，各个领域都取得了突破性的进展。例如，人们发明了专门用于预测股市的神经网络。大多数情况下，投资公司使用不同的网络预测不同的股票，然后由交易商来决定投资哪只股票。然而，有些人在此基础上更进一步，赋予网络本身自主权，使其能够自行买卖。无独有偶，金融领域迅速涉足电子游戏领域，时刻准备着为人工智能研究人员进行投资。算法交易时代轰轰烈烈地开始了。
1704610119
1704610120
当时神经网络领域的另一个引人注目的应用就是自动驾驶汽车。发明自动驾驶汽车一直是技术人员的梦想。1925年，发明家弗朗西斯·霍迪纳（Francis Houdina）展示了一款无线电控制的汽车，他操控汽车行驶在曼哈顿的街头，而车中无须人来操控方向盘。之后，自动驾驶汽车测试使用导丝和车载传感器使汽车能够按照路上画好的白线行驶，或通过识别出地下电缆发出的交流电行驶。1969年，约翰·麦卡锡发表了一篇标题为“计算机控制汽车”的论文极具挑战性。麦卡锡所提议的方案基本上是设计一个“自动化司机”。他的项目需要一个能够进行公路导航的计算机，计算机上仅带有一个电视摄像机来输入信息，该输入使用与人类司机相同的视觉输入。麦卡锡假设用户能够使用键盘输入地点，并要求汽车立即载他们过去。紧急情况下，用户可以使用额外的命令变更目的地，要求汽车停在洗手间或宾馆门口，在有紧急情况时减速或加速。
1704610121
1704610122
类似的项目直到20世纪90年代早期才得以实现，当时卡内基—梅隆大学的研究人员迪安·波默洛（Dean Pomerleau）写了一篇激动人心的博士论文，文章介绍了如何将“反向传播”应用于无人驾驶汽车。波默洛称其开发的神经网络为神经网络中的无人驾驶汽车或ALVINN（控制器），并将道路上的原始图像作为输入信息，并实时输出转向控制信息。当时，还有许多其他传统人工智能博士正在研究类似的自动驾驶项目。这些非神经网络的方法主要通过严谨的像素分析将各图像划分为不同类别，例如“道路”和“非道路”。然而，与许多传统人工智能面临的问题一样，计算机很难将信息解析为像实时路况那样的非结构化信息。假如一辆自动驾驶汽车依靠这一技术进行危险的高速行驶，发生事故的可能性是很大的。波默洛回忆道：“它们可能将树影或者树木本身识别成道路，这样车辆就会朝着树直接开过去，而不是避让。”
1704610123
1704610124
为了训练ALVINN，驾驶员只需简单地驾驶一段路程。波默洛说道：“驾驶员只需驾驶2—3分钟，ALVINN系统就能够了解并更新反向传播网络的权重。结束驾驶时，驾驶员可以放开方向盘，系统会继续驾驶车辆开始一段新的路程。”波默洛的发明只关注了方向，却无法控制速度或避开障碍物，这两点必须由驾驶员来完成。尽管如此，波默洛也取得了巨大的成功，1995年，庞蒂克小型货车上安装了从旧汽车上回收的ALVINN的升级版——RALPH（快速调节横向位置处理器）。波默洛和一位名为托德·约赫姆（Todd Jochem）的研究人员为其配备了一台电脑、640×480像素的彩色照相机、全球定位系统接收器和光纤陀螺仪，之后他们驾驶该车横穿美国。借鉴了1986年“携手美国”（Hands Across America）慈善活动的名称，他们将这次旅行称为“横穿美国”（NO Hands Across America）。他们在路上卖10美元一件的衬衫，用于支付食宿费用。最后，这辆汽车一共行驶了2 797英里，途经匹兹堡、宾夕法尼亚、圣地亚哥、加利福尼亚，中间还穿过了胡佛水坝，这一切都是汽车自动驾驶完成的。《商业周刊》的一位记者在报道这一事件时，一名堪萨斯州骑兵要求其将车停到路边。而波默洛和约赫姆乘自动驾驶汽车旅行，甚至连双手都无须握住方向盘。
1704610125
1704610126
15年后，谷歌在2010年10月发布了自己的无人驾驶汽车项目。然而，我们仍要感谢波默洛在神经网络领域做出的开创性贡献，他证明了自己的观点。
1704610127
1704610128
1704610129
1704610130
1704610132
人工智能：改变世界，重建未来 欢迎来到深度学习领域
1704610133
1704610134
神经网络在21世纪中叶迎来了又一次重大进展。2005年，杰夫·辛顿在多伦多大学任教，此前不久，他一直在英国伦敦大学学院工作，在那里建立了盖茨比计算神经科学组。这时，人们已经清楚地认识到，互联网能够生成大量数据集，这在10年前是想都不敢想的。如果说以前的研究人员面临的问题是没有足够的数据来对系统进行适当的训练，那么互联网的兴起则大大改善了这一状况。如今，据国际数据公司等研究公司估测，目前网上在线数据量约为4.4泽字节[1]。记者史蒂夫·洛尔（Steve Lohr）在其所著的极为有趣的《数据论》一书中指出，如果能将这些数据输入iPad Air（苹果超薄平板电脑）中，那么产生的堆栈将能够覆盖地球到月球距离的2/3。
[
上一页 ]
[ :1.704610085e+09 ]
[
下一页 ]