1700538040
1700538041
（9.6）
1700538042
1700538043
ReLU激活函数的形式为
1700538044
1700538045
1700538046
，
1700538047
1700538048
（9.7）
1700538049
1700538050
对应的导函数为
1700538051
1700538052
1700538053
1700538054
1700538055
（9.8）
1700538056
1700538057
问题2 为什么Sigmoid和Tanh激活函数会导致梯度消失的现象？
1700538058
1700538059
难度：★★☆☆☆
1700538060
1700538061
分析与解答
1700538062
1700538063
1700538064
Sigmoid激活函数的曲线如图9.7所示。它将输入z映射到区间（0，1），当z很大时，f(z)趋近于1；当z很小时，f(z)趋近于0。其导数在z很大或很小时都会趋近于0，造成梯度消失的现象。
1700538065
1700538066
1700538067
Tanh激活函数的曲线如图9.8所示。当z很大时，f(z)趋近于1；当z很小时，f(z)趋近于−1。其导数在z很大或很小时都会趋近于0，同样会出现“梯度消失”。实际上，Tanh激活函数相当于Sigmoid的平移：
1700538068
1700538069
tanh(x)=2sigmoid(2x)−1 ．
1700538070
1700538071
（9.9）
1700538072
1700538073
1700538074
1700538075
1700538076
图9.7 Sigmoid激活函数
1700538077
1700538078
1700538079
1700538080
1700538081
图9.8 Tanh激活函数
1700538082
1700538083
问题3 ReLU系列的激活函数相对于Sigmoid和Tanh激活函数的优点是什么？它们有什么局限性以及如何改进？
1700538084
1700538085
难度：★★★☆☆
1700538086
1700538087
分析与解答
1700538088
1700538089
■ 优点