1700530857
·决定训练神经网络过程中所有连接的突触强度如何修正。这是一个关键的设计决策,也是大量神经网络研究和讨论的主题。设置方法有许多:
1700530858
1700530859
i)针对每一次识别实验,通过(通常是较小的)固定的数量增加或减少每一个突触的强度,从而使神经网络的输出更接近正确值。其中一种方案是试着同时增加和减少突触的强度,从而比较哪种方法的影响较好。也许这样做比较耗时,所以还有其他针对是否要增加或减少每个突触强度的方法来做本地决定
1700530860
1700530861
ii)还有其他统计方法可以在每次识别测试后改善突触强度,这样实验中的神经网络可以更接近正确答案
1700530862
1700530863
要注意,即便训练测试的答案并不完全正确,神经网络训练也会起作用。这样就可以使用有固有误差率的真实数据进行训练。基于神经网络识别系统取得成功的关键因素之一,就是训练使用的数据量大小。通常,要得到令人满意的结果,就需要大量的数据。就好比人类学生,神经网络在学习课程上所消耗的大量时间是其性能的关键
1700530864
1700530865
变量
1700530866
1700530867
上述很多变量都是可操作的,这些变量包括:
1700530868
1700530869
·如上文所述,有很多不同方式构建拓扑结构,尤其是神经元之间的连接可以随机设定或是用进化算法来设定
1700530870
1700530871
·如上文所述,有许多不同方式来设定初始突触强度
1700530872
1700530873
·第i层上的神经元输入没必要全部来自第(i–1)层,每层神经元的输入可以来自底层或任意层
1700530874
1700530875
·如前文所述,决定最终输出值的方法不止一种
1700530876
1700530877
·对每个神经元而言,上述方法把加权值之和比作神经元的阈值。如果加权值达到了阈值,神经元受到刺激且输出值为1;否则,输出值为0。这种“拥有一切或一无所有”的刺激法叫作非线性。有很多可用的非线性方程。通常被使用的方程会以迅速但逐渐变化(而不是拥有一切或一无所有)的方式从0过渡到1。此外,输出的结果可以不是0和1
1700530878
1700530879
·如上文所述,训练过程中修正突触强度的不同方法代表了设计的关键性决策
1700530880
1700530881
·上述模式描述了一种“同步”神经网络,其中,通过计算每一层次的输出来进行识别测试,从第0层开始,到第M层为止。在真实的并行系统里,每个神经元都是独立运转的,所有神经元都是非同步运转的(即独立运转)。在非同步方法当中,每个神经元都不间断地扫描自己的输入值和阈值(即将自己的输出从0改到1),无论改正输入权值之和何时超过阈值都是如此(或者,使用另一个非线性输出函数)。
1700530882
1700530883
祝您修改愉快!
1700530884
1700530885
进化算法
1700530886
1700530887
如果生物学家已经忽略了自我组织,不是因为自我排序普及性低或者影响不够深刻,而是因为我们这些生物学家还没有弄明白,应该如何去考量由两种有序的资源同时管理的系统。人们有的看见雪花,有的看见简单脂质分子漂浮在水面上形成类似细胞的空心脂质囊,有的看见分子反应群中结晶的现象,有的看见网络那令人诧异的秩序将数十万种变量联系起来,但这些现象都无法说明一种核心思想:如果我们终将得出生物学最终的理论,就必须理解将自我组织和选择结合在一起的意义。我们一定可以看见更深层秩序的自然表达。最终,我们将从创造的谜题中发现,我们本身也是被期待的。
1700530888
1700530889
——斯图尔特·考夫曼
1700530890
1700530891
正如我之前阐述的,进化算法包括一个模拟环境,模拟软件“生物”在这个环境中为了生存而竞争,只有赢得竞争的才能繁殖下来。每个软件生物都代表了其DNA密码中问题的潜在解决方案。
1700530892
1700530893
那些得以存活并繁殖下一代的生物就是在解决问题时表现更好的生物。进化算法被认为是“自然出现”方法中的一部分,因为方法是慢慢出现的,通常,系统的设计者也无法预知它们的出现。当与其他模式结合在一起时,进化算法的作用尤为明显。以下就是将所有“智能”模式结合在一起的一种独特方法。
1700530894
1700530895
将三种模式结合在一起
1700530896
1700530897
人类基因组包括30亿个碱基对,相当于60亿比特的数据。将数据稍作压缩之后,你的遗传密码可存储在CD–ROM中。这样就可以把全家都装进一张DVD光盘里。但你的大脑有100万亿条“接线”,这就需要有3 000万亿个比特来呈现出来。但是染色体中只有120亿比特的数据(根据现代预估,只有大约3%是活跃的),应如何设计大脑的连接方式呢?它们大约构成了2 500 000倍的信息量。
1700530898
1700530899
显然,遗传密码并没有详细指明具体的连接方式。之前我曾说过,我们可以随意连接神经网络来获得令人满意的结果。的确如此,但同时也有更好的方法能做到这一点,那就是进化。我的意思不是使用经过了几十亿年然后产生了人类大脑的进化,而是指在妊娠时期以及儿童早期阶段进化的那几个月。在我们的早期生命力,神经元间的连接都在为了生存下来而战斗,那些能更好地感知世界的连接幸存下来。到儿童时期快结束时,这些连接变得相对固定了,因此,向婴儿和低年龄段的儿童展示虚拟环境是非常重要的。否则,这些进化过程就会耗尽真实世界的混沌,而它们正是从其中汲取灵感的。
1700530900
1700530901
对于人造神经网络也可以采取同样的做法:运用进化算法决定最佳连接方式。京都高级通信研究实验室雄心勃勃的大脑构建项目就是这么做的。
1700530902
1700530903
接下来要讨论的就是应该如何使用三个模式智能地解决具有挑战性的难题。首先,仔细陈述你的问题。其实这是最难的一步。大部分人都试图在不用理解问题是什么的前提下解决问题。第二,通过搜索元素之间的各种组合(比如,对弈中的走步,解决方案中的步骤)的方法,递归性地分析问题的逻辑概要,这样你和你的计算机都有足够的耐心来理清问题的概要。对于潜在方案递归性扩张的最后树叶,应用神经网络对它们进行评估,使用进化算法来决定神经网络的最佳拓扑结构。如果这些都不起作用,那你确实遇上了一个棘手的问题。
1700530904
1700530905
进化算法的“伪代码”
1700530906
[
上一页 ]
[ :1.700530857e+09 ]
[
下一页 ]