1700508590
1700508591
1700508592
1700508593
1700508594
图11-47 SoftpIus函数图像
1700508595
1700508596
传统的ReLu函数（Rectified Linear Units）的表达式如下。
1700508597
1700508598
1700508599
1700508600
1700508601
如图11-48所示是函数y=x在第一象限的部分及函数y=0（x ＜ 0）的部分。这个函数在第一象限的收敛特性非常好，但是到了x ＜ 0的部分就没有任何学习能力了。因为导数是0，所以要使用这种激活函数的改进版Leaky ReLu对x ＜ 0部分的学习能力进行改进。
1700508602
1700508603
1700508604
1700508605
1700508606
图11-48 ReLu函数图像
1700508607
1700508608
Leaky ReLu函数（如图11-49所示）的表达式如下。
1700508609
1700508610
1700508611
1700508612
1700508613
图11-49 Leaky ReLu函数图像
1700508614
1700508615
1700508616
1700508617
1700508618
其中，α是一个取值较小的实数，例如0.2。
1700508619
1700508620
除了上述这些激励函数以外，在其他文献中还提到了ArcTan、Bent Identity、Gaussian等激励函数及其改进版本。我们很难说清这些激励函数孰优孰劣。由于函数本身的特性导致了在不同场景中不同的学习效果，所以目前在各种成型的深度学习网络中，ReLu函数的使用率还是很高的。
1700508621
1700508622
数据科学家养成手册 [:1700503598]
1700508623
11.9.6 卷积神经网络
1700508624
1700508625
在神经网络这种算法设计方式中，有一种叫作“卷积神经网络”（Convolutional Neural Network，CNN）的子类别。
1700508626
1700508627
从工作流程来看，卷积神经网络与前面提到的BP神经网络类似，向量输入都是从前向后传递，都是通过训练集来获得损失函数的定义，并通过求偏导数来调整每个神经元的权值矩阵w和b从而获得损失函数更小的解，在流程上也没有太大区别。但是，卷积神经网络中多了一个组件——卷积层。卷积神经网络与传统的BP神经网络相比，在模式识别方面的处理能力上优势更大，训练收敛速度更快，准确率更高。
1700508628
1700508629
卷积层是由卷积核组成的一种以采样为目的的处理层。
1700508630
1700508631
以图像处理为例，一幅包含m×n个像素的图片在处理时实际上被当成了一个m×n×3维度的向量（“3”是指RGB通道，每个通道有256种取值）。如果要对这么大的一个向量设计全连接的BP神经网络，需要训练的w矩阵中的权值数量是非常惊人的。而卷积神经网络通过自己独特的处理技巧——权值共享，可以有效降低计算量。
1700508632
1700508633
我们以VGG-16(7)为例讲解，如图11-50所示。
1700508634
1700508635
1700508636
1700508637
1700508638
图11-50 VGG-16 ModeI
1700508639