1700508577
1700508578
1700508579
1700508580
图11-46 tanh函数图像
1700508581
1700508582
从图像上看，tanh函数的取值范围是(-1, 1)。从限制输出波幅的特性上来说，它与Sigmoid函数都能起到比较好的作用。然而，这类S形激活函数在利用梯度下降法进行学习的时候，在学习率η确定的情况下，会产生比较严重的“梯度消失”（在曲线两端近乎直线的部分由于斜率太低而导致w的更新速度极慢的现象），所以现在这两类激励函数在工业上的应用没有之前那么广泛了，取而代之的是在迭代学习中收敛速度较快的激励函数，例如Softplus和ReLu。
1700508583
1700508584
Softplus函数的表达式如下。
1700508585
1700508586
1700508587
1700508588
1700508589
Softplus函数在第一象限的斜率很稳定（如图11-47所示），所以它在第一象限会收敛得很快，也很稳定。
1700508590
1700508591
1700508592
1700508593
1700508594
图11-47 SoftpIus函数图像
1700508595
1700508596
传统的ReLu函数（Rectified Linear Units）的表达式如下。
1700508597
1700508598
1700508599
1700508600
1700508601
如图11-48所示是函数y=x在第一象限的部分及函数y=0（x ＜ 0）的部分。这个函数在第一象限的收敛特性非常好，但是到了x ＜ 0的部分就没有任何学习能力了。因为导数是0，所以要使用这种激活函数的改进版Leaky ReLu对x ＜ 0部分的学习能力进行改进。
1700508602
1700508603
1700508604
1700508605
1700508606
图11-48 ReLu函数图像
1700508607
1700508608
Leaky ReLu函数（如图11-49所示）的表达式如下。
1700508609
1700508610
1700508611
1700508612
1700508613
图11-49 Leaky ReLu函数图像
1700508614
1700508615
1700508616
1700508617
1700508618
其中，α是一个取值较小的实数，例如0.2。
1700508619
1700508620
除了上述这些激励函数以外，在其他文献中还提到了ArcTan、Bent Identity、Gaussian等激励函数及其改进版本。我们很难说清这些激励函数孰优孰劣。由于函数本身的特性导致了在不同场景中不同的学习效果，所以目前在各种成型的深度学习网络中，ReLu函数的使用率还是很高的。
1700508621
1700508622
数据科学家养成手册 [:1700503598]
1700508623
11.9.6 卷积神经网络
1700508624
1700508625
在神经网络这种算法设计方式中，有一种叫作“卷积神经网络”（Convolutional Neural Network，CNN）的子类别。
1700508626