1700537996
百面机器学习：算法工程师带你去面试 [:1700532221]
1700537997
百面机器学习：算法工程师带你去面试 深度神经网络中的激活函数
1700537998
1700537999
1700538000
1700538001
场景描述
1700538002
1700538003
线性模型是机器学习领域中最基本也是最重要的工具，以逻辑回归和线性回归为例，无论通过闭解形式还是使用凸优化，它们都能高效且可靠地拟合数据。然而真实情况中，我们往往会遇到线性不可分问题（如XOR异或函数），需要非线性变换对数据的分布进行重新映射。对于深度神经网络，我们在每一层线性变换后叠加一个非线性激活函数，以避免多层网络等效于单层线性函数，从而获得更强大的学习与拟合能力。
1700538004
1700538005
知识点
1700538006
1700538007
微积分，深度学习，激活函数
1700538008
1700538009
问题1 写出常用激活函数及其导数。
1700538010
1700538011
难度：★☆☆☆☆
1700538012
1700538013
分析与解答
1700538014
1700538015
Sigmoid激活函数的形式为
1700538016
1700538017
1700538018
，
1700538019
1700538020
（9.3）
1700538021
1700538022
对应的导函数为
1700538023
1700538024
1700538025
．
1700538026
1700538027
（9.4）
1700538028
1700538029
Tanh激活函数的形式为
1700538030
1700538031
1700538032
，
1700538033
1700538034
（9.5）
1700538035
1700538036
对应的导函数为
1700538037
1700538038
1700538039
．
1700538040
1700538041
（9.6）
1700538042
1700538043
ReLU激活函数的形式为
1700538044
1700538045
