1701550274
神经网络模型的5大特征
1701550275
1701550276
在刘易斯·凯洛尔(Lewis Carroll)的故事《乌龟对阿契利斯说了什么》(What the Tortoise Said to Achilles)中,飞毛腿勇士赶上了奋力挪行的乌龟,使芝诺的经典悖论落了空。芝诺的悖论中,只要乌龟稍微先行一小步,阿契利斯就永远也赶不上它。在阿契利斯赶上原来差距的时候,乌龟会又往前前进一点;阿契利斯赶上这段差距的时候,乌龟又往前挪动更少一点,如此往复,永无止境。乌龟又给了阿契利斯一个类似的悖论。阿契利斯从它头盔里拿出一个巨大的笔记本和一支铅笔,然后乌龟开始口授欧几里得第一定理:
1701550277
1701550278
(A)与同一个东西相等的东西彼此相等。
1701550279
1701550280
(B)这个三角形的两边是与同一个东西相等的东西。
1701550281
1701550282
(Z)这个三角形的两边彼此相等。
1701550283
1701550284
阿契利斯让乌龟同意,任何人只要接受A和B以及“如果A并B,那么Z”,那么他就一定接受Z。但现在,乌龟不同意阿契利斯的逻辑。它说它有权拒绝结论Z,因为没有人在它必须接受的前提清单上写下过“如果-那么”规则。于是阿契利斯在它笔记本的清单上又在后面增加了一条C:
1701550285
1701550286
(C)如果A和B都真实,那么Z也一定真实。
1701550287
1701550288
乌龟回答说,它没看出为什么应该假设:只是因为A和B和C真实,Z就也真实。于是阿契利斯又增加了一条陈述:
1701550289
1701550290
(D)如果A和B和C都真实,那么Z也一定真实。
1701550291
1701550292
然后宣布“逻辑(必须)掐着你的喉咙,强迫你”接受Z。乌龟回答说。
1701550293
1701550294
无论什么好得要告诉我的逻辑都值得写下来。所以录入到你的本子上吧。我们把它称作:
1701550295
1701550296
(E)如果A和B和C和D都真实,那么Z也一定真实。
1701550297
1701550298
“我明白了。”阿契利斯说,他的语调中透着一丝悲伤。
1701550299
1701550300
这时,叙述者因为有公务要急着赶往银行,只好作别这快乐的一对,直到几个月后才又经过这个地方。当他又经过时,阿契利斯还坐在极有耐力的乌龟背上,在他的笔记本上奋笔写着,那本子似乎已经快写满了。乌龟说:“你写下那最后一步了吗?我要没数错的话,那是第1001条。还有好几百万条等着呢。”
1701550301
1701550302
这个悖论的解决方法当然是,没有一个推导系统会一直因循明确的规则。在某一点上,系统必须像杰瑞·鲁宾(Jerry Rubin)所说的,做就是了[5]。也就是说,规则只需被系统反射性地、强力操作执行即可,无须再提更多的问题。在那一点上,系统如果像一台机器那样运行,将不会去遵循规则,而是会服从物理学定律。类似地,如果表征是由“小幽灵(后台程序)”来读写的(用符号来代替符号的规则),“小幽灵(后台程序)”之中又有更小的(和更笨的)“小幽灵(后台程序)”,最终你得向“捉鬼敢死队”求救了,并用机器来取代最小最笨的“小幽灵(后台程序)”——对于人和动物,机器是用神经元制造的,也就是神经网络。我们来看看对于心智如何工作的图景,是如何建立在大脑如何工作的简单想法基础上的。
1701550303
1701550304
最初的线索来自数学家沃伦·迈卡尔洛克(Warren McCulloch)和沃尔特·匹茨(Walter Pitts),他们写了一些关于相互连接的神经元的“神经-逻辑”性质。神经元很复杂,仍不为人所完全理解,但迈卡尔洛克和匹茨以及大多数神经网络的建模者已经识别出神经元所做的最重要的一件事。事实上,神经元累积到一定数量,然后将总数与一个阈限相比较,来确定是否超过这个阈限。这就是对神经元所做的概念性描述;相应的物理描述是,一个触发的神经元其激活程度在不断变化,它的激活水平受到来自轴突的激活水平的影响,而轴突从附着在突触上的其他神经元一直延伸到本神经元的树突(输入结构)。突触具有的电量从正(兴奋的)到零,再到负(抑制的)。每个到来的轴突的激活水平再乘上突触的电量。神经元将这些到来的激活水平累加到一起;如果总数超过了阈限,神经元就会变得更活跃,继而向任何与它相连的神经元发送一个信号。尽管神经元总是处在激活状态,而到来的信号只是使它的激活水平变化为更快或更慢的可察觉速率,但有时将它们描述为关(静息率)或开(动作率)还是比较方便。
1701550305
1701550306
迈卡尔洛克和匹茨证明了,这些模型神经元是如何连接在一起组成逻辑门的。逻辑门执行了最基本的关系“且”“或”“非”,这些关系构成了简单推理的基础。如果A为真且B为真,那么“A且B”为真(概念上的)。如果它的两个输入都是开的状态,一个和门(物理上的)会产出一个输出。为了从模型神经元中做出一个且门,要将输出单位的阈限调至比每个输入分量大但小于它们的和,如图2-2左图中的微型网络。如果A为真或B为真,那么“A或B”为真(概念上的)。如果两个输入中任意一个为开的状态,一个或门(物理上的)产出一个输出。要做一个或门,将阈限设定为小于每个输入分量,如图2-2中间的微型网络所示。最后,如果A为假,“非A”(概念上的)为真,反之亦然。一个非门(物理上的)当它没收到输入时,会产出一个输出;反之亦然。要做一个非门,将阈值设定为零,这样当没收到任何输入时,神经元会触发;令输入分量为负,这样输入的信号就会抑制神经元,正如图2-2右图中的微型网络所示。
1701550307
1701550308
1701550309
1701550310
1701550311
图2-2
1701550312
1701550313
我们假设,每个模型神经元都表征一个简单的命题。微型网络可以连接在一起,其中一个的输出供应了另一个的输入,这样就可以评估一个复杂命题的真伪了。例如,一个神经网络能够评估命题{[(X咀嚼它反刍的食物)和(X有偶蹄)]或[(X有鳍)且(X有鳞)]},概括什么样的动物才清洁可食[6]。事实上,如果一个模型神经元网络被连接到某种可延伸的内存记忆(比如在一个橡皮印章和一块橡皮下滚动的一卷纸)时,它就成了一台图灵机,一台全速运转的计算机。
1701550314
1701550315
但是,在逻辑门中表征命题或组成命题的概念是完全不现实的,无论这些逻辑门是用神经元还是用半导体做的。问题在于,每个概念或命题都必需事先作为分开的单位并连接好。而计算机和大脑都是将概念表征为对于几组单位的活动模式。一个简单的例子就是,普通的字节代表着你计算机中的一个字母数字字符。字母B的表征为01000010,其中的数字(比特)对应到排列成行的小小硅片上。第二和第七小片充上了电荷,对应于1;其他小片没充电荷,对应于0。一个字节也可以用模型神经元来做,识别B模式的电路可以做成图2-3这样的简单神经网络:
1701550316
1701550317
1701550318
1701550319
1701550320
图2-3
1701550321
1701550322
你可以想象,这个网络是组成一个“小幽灵(后台程序)”的一部分。如果模型神经元的最底下一行与短期记忆相连,最上面的将检测短期记忆中是否包含一个符号B的情况。在图2-4有一个“小幽灵(后台程序)”局部网络,它将符号B写入内存记忆。
[
上一页 ]
[ :1.701550273e+09 ]
[
下一页 ]