1700535576
1700535577
自组织映射神经网络具有保序映射的特点,可以将任意维输入模式在输出层映射为一维或者二维图形,并保持拓扑结构不变。这种拓扑映射使得“输出层神经元的空间位置对应于输入空间的特定域或特征”。由其学习过程可以看出,每个学习权重更新的效果等同于将获胜的神经元及其邻近的权向量wi向输入向量x移动,同时对该过程的迭代进行会使得网络的拓扑有序。
1700535578
1700535579
在自组织映射神经网络中,获胜的神经元将使得相关的各权重向更加有利于它竞争的方向调整,即以获胜神经元为中心,对近邻的神经元表现出兴奋性侧反馈,而对远邻的神经元表现出抑制性侧反馈,近邻者互相激励,远邻者相互抑制。近邻和远邻均有一定的范围,对更远邻的神经元则表现弱激励的作用。这种交互作用的方式以曲线可视化则类似于“墨西哥帽”,如图5.9所示。
1700535580
1700535581
1700535582
1700535583
1700535584
图5.9 神经元的激励交互方式
1700535585
1700535586
自组织映射神经网络与K均值算法的区别如下。
1700535587
1700535588
(1)K均值算法需要事先定下类的个数,也就是K的值。而自组织映射神经网络则不用,隐藏层中的某些节点可以没有任何输入数据属于它,因此聚类结果的实际簇数可能会小于神经元的个数。而K均值算法受K值设定的影响要更大一些。
1700535589
1700535590
(2)K均值算法为每个输入数据找到一个最相似的类后,只更新这个类的参数;自组织映射神经网络则会更新临近的节点。所以,K均值算法受noise data的影响比较大,而自组织映射神经网络的准确性可能会比K均值算法低(因为也更新了临近节点)。
1700535591
1700535592
(3)相比较而言,自组织映射神经网络的可视化比较好,而且具有优雅的拓扑关系图。
1700535593
1700535594
问题2 怎样设计自组织映射神经网络并设定网络训练参数?
1700535595
1700535596
难度:★★★☆☆
1700535597
1700535598
分析与解答
1700535599
1700535600
■ 设定输出层神经元的数量
1700535601
1700535602
输出层神经元的数量和训练集样本的类别数相关。若不清楚类别数,则尽可能地设定较多的节点数,以便较好地映射样本的拓扑结构,如果分类过细再酌情减少输出节点。这样可能会带来少量从未更新过权值的 “死节点”,但一般可通过重新初始化权值来解决。
1700535603
1700535604
■ 设计输出层节点的排列
1700535605
1700535606
输出层的节点排列成哪种形式取决于实际应用的需要,排列形式应尽量直观地反映出实际问题的物理意义。例如,对于一般的分类问题,一个输出节点能代表一个模式类,用一维线阵既结构简单又意义明确;对于颜色空间或者旅行路径类的问题,二维平面则比较直观。
1700535607
1700535608
■ 初始化权值
1700535609
1700535610
可以随机初始化,但尽量使权值的初始位置与输入样本的大概分布区域充分重合,避免出现大量的初始“死节点”。一种简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值。
1700535611
1700535612
■ 设计拓扑领域
1700535613
1700535614
拓扑领域的设计原则是使领域不断缩小,这样输出平面上相邻神经元对应的权向量之间既有区别又有相当的相似性,从而保证当获胜节点对某一类模式产生最大响应时,其领域节点也能产生较大响应。领域的形状可以是正方形、六边形或者菱形。优势领域的大小用领域的半径表示,通常凭借经验来选择。
1700535615
1700535616
■ 设计学习率
1700535617
1700535618
学习率是一个递减的函数,可以结合拓扑邻域的更新一起考虑,也可分开考虑。在训练开始时,学习率可以选取较大的值,之后以较快的速度下降,这样有利于很快地捕捉到输入向量的大致结构,然后学习率在较小的值上缓降至0值,这样可以精细地调整权值使之符合输入空间的样本分布结构。
1700535619
1700535620
1700535621
1700535622
1700535624
百面机器学习:算法工程师带你去面试 04 聚类算法的评估
1700535625
[
上一页 ]
[ :1.700535576e+09 ]
[
下一页 ]