1700538021
1700538022
对应的导函数为
1700538023
1700538024
1700538025
．
1700538026
1700538027
（9.4）
1700538028
1700538029
Tanh激活函数的形式为
1700538030
1700538031
1700538032
，
1700538033
1700538034
（9.5）
1700538035
1700538036
对应的导函数为
1700538037
1700538038
1700538039
．
1700538040
1700538041
（9.6）
1700538042
1700538043
ReLU激活函数的形式为
1700538044
1700538045
1700538046
，
1700538047
1700538048
（9.7）
1700538049
1700538050
对应的导函数为
1700538051
1700538052
1700538053
1700538054
1700538055
（9.8）
1700538056
1700538057
问题2 为什么Sigmoid和Tanh激活函数会导致梯度消失的现象？
1700538058
1700538059
难度：★★☆☆☆
1700538060
1700538061
分析与解答
1700538062
1700538063
1700538064
Sigmoid激活函数的曲线如图9.7所示。它将输入z映射到区间（0，1），当z很大时，f(z)趋近于1；当z很小时，f(z)趋近于0。其导数在z很大或很小时都会趋近于0，造成梯度消失的现象。
1700538065
1700538066
1700538067
Tanh激活函数的曲线如图9.8所示。当z很大时，f(z)趋近于1；当z很小时，f(z)趋近于−1。其导数在z很大或很小时都会趋近于0，同样会出现“梯度消失”。实际上，Tanh激活函数相当于Sigmoid的平移：
1700538068
1700538069
tanh(x)=2sigmoid(2x)−1 ．
1700538070