1700045640
1700045641
对于神经元细胞来说,最重要的问题是“我是否应该放电”。当神经元没有传递信号的时候,它处于休息的状态。当神经元周围的网络开始传输信号时,神经元可能在放电,也可能没有。神经元是否放电取决于所接受的信号累积强度能否达到阈值。如果信号强度没有达到阈值,细胞不会放电,一点儿也不会。
1700045642
1700045643
这一幅简单的神经网络工作流程图,就是生理上真实的神经元细胞工作的过程的简化版。然而,对于人工智能研究的目的,它提供了基础。现在让我们一起去看看人工神经元网络在计算机版本里所扮演的角色。
1700045644
1700045645
人工神经网络的研究没有被公认的确切开始日期,但20世纪40年代是该项研究的一个良好开端。1943年,两位电子工程师,沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts),发表了一篇关于为首个人造神经元细胞构建数学模型的论文,该模型被称为阈值逻辑单元(Threshold Logic Unit)。这个被他们描述为“大脑里的神经网”简易模型,随即成为好几种人造神经网络的基础。
1700045646
1700045647
1949年,心理学家唐纳德·赫布(Donald Hebb)提出在神经元连接基础上加入神经元学习性的生理模型——赫布突触学习理论(Hebb’s Synaptic Learning Rule)。赫布假定当神经元之间的激活连接被正向强化时(放大),大脑开启学习功能;同时,神经元连接被负向强化削弱的时候(缩小),大脑也在学习。赫布把大脑运行规律的新理论阐述在他的著作《行为的组织》(The Organization of Behavior)里。
1700045648
1700045649
提起赫布理论,人们通常指的是“共同激活的神经元成为联合”的说法。赫布这一对于神经元的简单推测随后被称为“赫布型学习(Hebbian learning)”。人们把赫布型学习理论应用到人工神经网络中,使计算机进行学习能力培养的科学也由此诞生。
1700045650
1700045651
今天在人工神经元网络研究的领域包含了好几种不同的方法,但这些方法都有着一些得到普遍认同的核心概念。观点一:神经元彼此连接,组成一个去中心化的神经网络。观点二:当个体神经元细胞之间的兴奋加强或减弱时,大脑开启学习。观点三:只有达到一定的阈值,神经元才能放电或实现实现信息的传递。在人工神经元网络的研究中,根据神经网络种类不同,设计需求也不同,这些公认的核心概念在应用时也有不同的呈现方式和细微的差别。
1700045652
1700045654
感知器
1700045655
1700045656
世界上首批人工神经网络出现在1957年,由当时纽约康奈尔大学伊萨卡学院心理学系的教授弗兰克·罗森布拉特(Frank Rosenblatt)提出。罗森布拉特把他制造的模型命名为“马克1号”。尽管制作的技术并不先进,使用了木质框架、成捆的电线、若干灯泡等,但是最终罗森布拉特制作出非常成功的感知器,“马克1号”就是现代深度学习神经网络的鼻祖。
1700045657
1700045658
感知器的出色之处在于其简洁性。按理推测,感知器可能是机器学习与模式识别最简单的实现方式。通过微调八个人工神经元细胞之间的连接强弱,感知器能识别这些简单的模式。
1700045659
1700045660
罗森布拉特感知器的另一个特征在当时非常罕见,它使用的不是属于程序员难以改动的硬编码。相反地,这台机器运用了类似人类从经历中学习,能够灵活识别模式。这种方法在当时独树一帜,当时的人工智能技术里占绝对主流的可是模板匹配(template matching)与逻辑规则(logic rules)。
1700045661
1700045662
该感知器由六个机架构成,机架内装载着电子设备。每层机架相当于生物视觉感知系统中一个理论层,由上百个节点组成,最终达到了每个机架排列8个神经元。发展到今天,现代深度学习网络已经包含超过150层的人工神经元细胞,相互连接的节点有将近10亿个。这项伟大的创举实现了高速、强大的计算机和复杂的培训算法。
1700045663
1700045664
从生物学范畴来说,神经元细胞传输能力的强弱是由神经递质的集中程度决定的。弗兰克·罗森布拉特认为,化学神经递质的电模拟决定着连接各个人工神经元的输电线电阻的大小。低电阻(高导电性)对应着高神经递质水平,而高电阻(低导电性)对应着低神经递质水平。
1700045665
1700045666
感知器使用导线和导电晶体管来模拟人类大脑的结构。感知器的表层模拟生理上的视网膜,由400个光线传感器排成20×20的矩阵构成。(如果该感知器中的光线传感器的网格化布局让你联想到数码相机里的硅光电池传感器,请记住这种想法,这是一个极为重要的观念,我们稍后还会进行讨论。)
1700045667
1700045668
1700045669
1700045670
1700045671
图9.1 弗兰克·罗森布拉特与一台连接着电视机外壳的感知器。图片展示的是感知器20×20的“眼睛”和连接A单元的导线
1700045672
1700045673
来源:Robert Hecht-Nielsen,“感知器”,加利福尼亚大学圣迭戈分校,0403号神经计算技术报告,2008年10月17日;照片由美国韦里迪安公司、通用动力公司提供
1700045674
1700045675
第一层神经元是具有传感功能的单元(sensory units),罗森布拉特将其称为S单元。
1700045676
1700045677
第二层神经元在生物视觉系统中模拟神经元树突。罗森布拉特把这部分称作联合单元(association units)或A单元。A单元由512个节点组成,节点与第一层神经元的光线传感器相连,每个节点看作一个突触。
1700045678
1700045679
第三个机架是感知器的输出层。这一层对应的是生物系统中的响应神经元,罗森布拉特将其称为R单元。它由8个灯泡组成(灯泡用以模拟神经元细胞),每个神经元都有特别的形状标记,如“三角形”或“方形”。只有接收到电信号超过阈值,神经元才会放电。R单元也遵循同样的原则,每一个R单元都有各自特定的阈值。当连接感知器光线传感器的A单元导线传输过来的达到一定的阈值,R单元就会放电,灯泡发光。
1700045680
1700045681
当感知器触发“三角形”的概念时,机器会渐渐学会“识别”该形状,并点亮贴有三角形标记的灯泡,公布它的答案。
1700045682
1700045683
究竟这个简陋的机械装置是如何识别模型的呢?首先,罗森布拉特用投影仪把一张图片投射到400个光线传感器上。图片是圆形、三角形或方形等某个简单的图形。图形其余部分是黑色背景。因此,图形部分比幻灯片的其余部分要明亮许多。光线传感器的光线据此做出反应。
1700045684
1700045685
当光线照射到传感器上,传感器会产生电压并把电流输往中间一层的机架,也就是A单元。光线传感器并非只是等待接收光线,倘若接收到从光线传感器传输来的电压的A单元达到一定数量,这些电压汇聚起来最终达到了R单元的阈值,引发放电。R单元放电,点亮对应着某个形状标记的灯泡。
1700045686
1700045687
无论是历史上或是现代的机器学习算法,都需要经过不断训练才能学会这套流程。在感知器的例子中,当发光的图形被投射到光线传感器上,有一个人类操作员坐在一旁指导机器回应。操作员先投影一张幻灯片,等待机器点亮一个或多个灯泡,然后为每个点亮的灯泡按下“对”或“错”的按钮。
1700045688
1700045689
整个训练过程需要煞费苦心地调整机器(或软件)人工神经元放电的阈值标准,以及连接神经元之间的节点强度,也就是专业术语所说的“突触强度(Synaptic Weights)”。如果机器回答不正确,人工神经元之间的节点放电减弱。如果机器回答正确,人工神经元之间的连接要么自由放电,要么以某种神经网络的形式得以加强。
[
上一页 ]
[ :1.70004564e+09 ]
[
下一页 ]