1700538260
1700538261
1700538262
1700538263
交叉熵损失： ．
1700538264
1700538265
（9.24）
1700538266
1700538267
1700538268
在分类问题中，yk仅在一个类别k时取值为1，其余为0。设实际的类别为，则
1700538269
1700538270
1700538271
，
1700538272
1700538273
（9.25）
1700538274
1700538275
1700538276
．
1700538277
1700538278
（9.26）
1700538279
1700538280
1700538281
f取SoftMax激活函数时，，因此
1700538282
1700538283
1700538284
．
1700538285
1700538286
（9.27）
1700538287
1700538288
问题3 平方误差损失函数和交叉熵损失函数分别适合什么场景？
1700538289
1700538290
难度：★★★☆☆
1700538291
1700538292
分析与解答
1700538293
1700538294
一般来说，平方损失函数更适合输出为连续，并且最后一层不含Sigmoid或Softmax激活函数的神经网络；交叉熵损失则更适合二分类或多分类的场景。想正确回答出答案也许并不难，但是要想给出具有理论依据的合理原因，还需要对之上一问的梯度推导熟悉掌握，并且具备一定的灵活分析能力。
1700538295
1700538296
为何平方损失函数不适合最后一层含有Sigmoid或Softmax激活函数的神经网络呢？可以回顾上一问推导出的平方误差损失函数相对于输出层的导数
1700538297
1700538298
1700538299
，
1700538300
1700538301
（9.28）
1700538302
1700538303
1700538304
1700538305
其中最后一项为激活函数的导数。当激活函数为Sigmoid函数时，如果z(L)的绝对值较大，函数的梯度会趋于饱和，即的绝对值非常小，导致δ(L)的取值也非常小，使得基于梯度的学习速度非常缓慢。当使用交叉熵损失函数时，相对于输出层的导数（也可以被认为是残差）为
1700538306
1700538307
1700538308
．
1700538309