1700508590
1700508591
1700508592
1700508593
1700508594
图11-47 SoftpIus函数图像
1700508595
1700508596
传统的ReLu函数(Rectified Linear Units)的表达式如下。
1700508597
1700508598
1700508599
1700508600
1700508601
如图11-48所示是函数y=x在第一象限的部分及函数y=0(x < 0)的部分。这个函数在第一象限的收敛特性非常好,但是到了x < 0的部分就没有任何学习能力了。因为导数是0,所以要使用这种激活函数的改进版Leaky ReLu对x < 0部分的学习能力进行改进。
1700508602
1700508603
1700508604
1700508605
1700508606
图11-48 ReLu函数图像
1700508607
1700508608
Leaky ReLu函数(如图11-49所示)的表达式如下。
1700508609
1700508610
1700508611
1700508612
1700508613
图11-49 Leaky ReLu函数图像
1700508614
1700508615
1700508616
1700508617
1700508618
其中,α是一个取值较小的实数,例如0.2。
1700508619
1700508620
除了上述这些激励函数以外,在其他文献中还提到了ArcTan、Bent Identity、Gaussian等激励函数及其改进版本。我们很难说清这些激励函数孰优孰劣。由于函数本身的特性导致了在不同场景中不同的学习效果,所以目前在各种成型的深度学习网络中,ReLu函数的使用率还是很高的。
1700508621
1700508623
11.9.6 卷积神经网络
1700508624
1700508625
在神经网络这种算法设计方式中,有一种叫作“卷积神经网络”(Convolutional Neural Network,CNN)的子类别。
1700508626
1700508627
从工作流程来看,卷积神经网络与前面提到的BP神经网络类似,向量输入都是从前向后传递,都是通过训练集来获得损失函数的定义,并通过求偏导数来调整每个神经元的权值矩阵w和b从而获得损失函数更小的解,在流程上也没有太大区别。但是,卷积神经网络中多了一个组件——卷积层。卷积神经网络与传统的BP神经网络相比,在模式识别方面的处理能力上优势更大,训练收敛速度更快,准确率更高。
1700508628
1700508629
卷积层是由卷积核组成的一种以采样为目的的处理层。
1700508630
1700508631
以图像处理为例,一幅包含m×n个像素的图片在处理时实际上被当成了一个m×n×3维度的向量(“3”是指RGB通道,每个通道有256种取值)。如果要对这么大的一个向量设计全连接的BP神经网络,需要训练的w矩阵中的权值数量是非常惊人的。而卷积神经网络通过自己独特的处理技巧——权值共享,可以有效降低计算量。
1700508632
1700508633
我们以VGG-16(7)为例讲解,如图11-50所示。
1700508634
1700508635
1700508636
1700508637
1700508638
图11-50 VGG-16 ModeI
1700508639
[
上一页 ]
[ :1.70050859e+09 ]
[
下一页 ]