1700045654
感知器
1700045655
1700045656
世界上首批人工神经网络出现在1957年,由当时纽约康奈尔大学伊萨卡学院心理学系的教授弗兰克·罗森布拉特(Frank Rosenblatt)提出。罗森布拉特把他制造的模型命名为“马克1号”。尽管制作的技术并不先进,使用了木质框架、成捆的电线、若干灯泡等,但是最终罗森布拉特制作出非常成功的感知器,“马克1号”就是现代深度学习神经网络的鼻祖。
1700045657
1700045658
感知器的出色之处在于其简洁性。按理推测,感知器可能是机器学习与模式识别最简单的实现方式。通过微调八个人工神经元细胞之间的连接强弱,感知器能识别这些简单的模式。
1700045659
1700045660
罗森布拉特感知器的另一个特征在当时非常罕见,它使用的不是属于程序员难以改动的硬编码。相反地,这台机器运用了类似人类从经历中学习,能够灵活识别模式。这种方法在当时独树一帜,当时的人工智能技术里占绝对主流的可是模板匹配(template matching)与逻辑规则(logic rules)。
1700045661
1700045662
该感知器由六个机架构成,机架内装载着电子设备。每层机架相当于生物视觉感知系统中一个理论层,由上百个节点组成,最终达到了每个机架排列8个神经元。发展到今天,现代深度学习网络已经包含超过150层的人工神经元细胞,相互连接的节点有将近10亿个。这项伟大的创举实现了高速、强大的计算机和复杂的培训算法。
1700045663
1700045664
从生物学范畴来说,神经元细胞传输能力的强弱是由神经递质的集中程度决定的。弗兰克·罗森布拉特认为,化学神经递质的电模拟决定着连接各个人工神经元的输电线电阻的大小。低电阻(高导电性)对应着高神经递质水平,而高电阻(低导电性)对应着低神经递质水平。
1700045665
1700045666
感知器使用导线和导电晶体管来模拟人类大脑的结构。感知器的表层模拟生理上的视网膜,由400个光线传感器排成20×20的矩阵构成。(如果该感知器中的光线传感器的网格化布局让你联想到数码相机里的硅光电池传感器,请记住这种想法,这是一个极为重要的观念,我们稍后还会进行讨论。)
1700045667
1700045668
1700045669
1700045670
1700045671
图9.1 弗兰克·罗森布拉特与一台连接着电视机外壳的感知器。图片展示的是感知器20×20的“眼睛”和连接A单元的导线
1700045672
1700045673
来源:Robert Hecht-Nielsen,“感知器”,加利福尼亚大学圣迭戈分校,0403号神经计算技术报告,2008年10月17日;照片由美国韦里迪安公司、通用动力公司提供
1700045674
1700045675
第一层神经元是具有传感功能的单元(sensory units),罗森布拉特将其称为S单元。
1700045676
1700045677
第二层神经元在生物视觉系统中模拟神经元树突。罗森布拉特把这部分称作联合单元(association units)或A单元。A单元由512个节点组成,节点与第一层神经元的光线传感器相连,每个节点看作一个突触。
1700045678
1700045679
第三个机架是感知器的输出层。这一层对应的是生物系统中的响应神经元,罗森布拉特将其称为R单元。它由8个灯泡组成(灯泡用以模拟神经元细胞),每个神经元都有特别的形状标记,如“三角形”或“方形”。只有接收到电信号超过阈值,神经元才会放电。R单元也遵循同样的原则,每一个R单元都有各自特定的阈值。当连接感知器光线传感器的A单元导线传输过来的达到一定的阈值,R单元就会放电,灯泡发光。
1700045680
1700045681
当感知器触发“三角形”的概念时,机器会渐渐学会“识别”该形状,并点亮贴有三角形标记的灯泡,公布它的答案。
1700045682
1700045683
究竟这个简陋的机械装置是如何识别模型的呢?首先,罗森布拉特用投影仪把一张图片投射到400个光线传感器上。图片是圆形、三角形或方形等某个简单的图形。图形其余部分是黑色背景。因此,图形部分比幻灯片的其余部分要明亮许多。光线传感器的光线据此做出反应。
1700045684
1700045685
当光线照射到传感器上,传感器会产生电压并把电流输往中间一层的机架,也就是A单元。光线传感器并非只是等待接收光线,倘若接收到从光线传感器传输来的电压的A单元达到一定数量,这些电压汇聚起来最终达到了R单元的阈值,引发放电。R单元放电,点亮对应着某个形状标记的灯泡。
1700045686
1700045687
无论是历史上或是现代的机器学习算法,都需要经过不断训练才能学会这套流程。在感知器的例子中,当发光的图形被投射到光线传感器上,有一个人类操作员坐在一旁指导机器回应。操作员先投影一张幻灯片,等待机器点亮一个或多个灯泡,然后为每个点亮的灯泡按下“对”或“错”的按钮。
1700045688
1700045689
整个训练过程需要煞费苦心地调整机器(或软件)人工神经元放电的阈值标准,以及连接神经元之间的节点强度,也就是专业术语所说的“突触强度(Synaptic Weights)”。如果机器回答不正确,人工神经元之间的节点放电减弱。如果机器回答正确,人工神经元之间的连接要么自由放电,要么以某种神经网络的形式得以加强。
1700045690
1700045691
为了更好地训练感知器,每次操作员按下“错误”的按钮,感知器就会接收到一个很差的评级:A单元中通向错误灯泡的电线的电阻增大。几次训练过后,机器就不再轻易连上A单元中的部分导线,避免得出错误的答案。那么,下一次当A单元再次接收到从第一层光线传感器过来的电流,R单元的人工神经元达到阈值的可能性降低。由于R单元没有达到阈值,不能放电,在下次,系统就能识别出这是放电可能性较低的模式。如果机器得出正确的答案,则不需要做任何的调整,就像学生得到老师的肯定:“干得好,继续努力。”
1700045692
1700045693
一台全新的、未经过任何调整的感知器,得出的答案大部分一定都是错的。整个训练过程需要不断重复,循环展示同一系列的图片,直到机器回答完全正确。在后来几十年中,神经网络研究人员会围绕这个主题进行大量不同的试验,尝试包括在机器回答正确的情况下强化连接,改变电线的连接方式,增加神经元的数量或重新排列节点。
1700045694
1700045695
人类智慧取得成功的秘诀在于“练习,练习,再练习”。无论人工神经元网络接受何种形式的训练,机器学习也有相似的秘诀——“重复,重复,再重复”。为了学会识别圆形与方形之间的区别,感知器需要不断重复,直到机器设定好应对每个错误答案的电阻。现代的机器学习仍使用同样的技术,但人工训练的过程被自动化、电子化过程所取代,这个过程以数据输入为基础,向软件中不断输入大量数据。
1700045696
1700045697
1700045698
1700045699
1700045700
图9.2 ImageNet 2012年图片示例,相似的图片被排列在一起
1700045701
1700045702
来源:斯坦福大学Andrej Karpathy、Fei-Fei Li
[
上一页 ]
[ :1.700045653e+09 ]
[
下一页 ]