1700508565
数据科学家养成手册 [:1700503597]
1700508566
11.9.5 激励函数
1700508567
1700508568
除了前面提到的Sigmoid激励函数以外，还有其他一些激励函数可供使用。
1700508569
1700508570
激励函数在选择的时候有一些先决条件，第一是可导性，第二是单调性（因为连续可导性和单调性可以保证在使用梯度下降法迭代的过程中逐步找到极小值）。
1700508571
1700508572
还有一种与Sigmoid函数的图像相近，曲线也呈S形的激活函数，叫作tanh函数（如图11-46所示）。
1700508573
1700508574
1700508575
1700508576
1700508577
1700508578
1700508579
1700508580
图11-46 tanh函数图像
1700508581
1700508582
从图像上看，tanh函数的取值范围是(-1, 1)。从限制输出波幅的特性上来说，它与Sigmoid函数都能起到比较好的作用。然而，这类S形激活函数在利用梯度下降法进行学习的时候，在学习率η确定的情况下，会产生比较严重的“梯度消失”（在曲线两端近乎直线的部分由于斜率太低而导致w的更新速度极慢的现象），所以现在这两类激励函数在工业上的应用没有之前那么广泛了，取而代之的是在迭代学习中收敛速度较快的激励函数，例如Softplus和ReLu。
1700508583
1700508584
Softplus函数的表达式如下。
1700508585
1700508586
1700508587
1700508588
1700508589
Softplus函数在第一象限的斜率很稳定（如图11-47所示），所以它在第一象限会收敛得很快，也很稳定。
1700508590
1700508591
1700508592
1700508593
1700508594
图11-47 SoftpIus函数图像
1700508595
1700508596
传统的ReLu函数（Rectified Linear Units）的表达式如下。
1700508597
1700508598
1700508599
1700508600
1700508601
如图11-48所示是函数y=x在第一象限的部分及函数y=0（x ＜ 0）的部分。这个函数在第一象限的收敛特性非常好，但是到了x ＜ 0的部分就没有任何学习能力了。因为导数是0，所以要使用这种激活函数的改进版Leaky ReLu对x ＜ 0部分的学习能力进行改进。
1700508602
1700508603
1700508604
1700508605
1700508606
图11-48 ReLu函数图像
1700508607
1700508608
Leaky ReLu函数（如图11-49所示）的表达式如下。
1700508609
1700508610
1700508611
1700508612
1700508613
图11-49 Leaky ReLu函数图像
1700508614