1700538250
1700538251
平方误差损失： ，
1700538252
1700538253
（9.22）
1700538254
1700538255
1700538256
．
1700538257
1700538258
（9.23）
1700538259
1700538260
1700538261
1700538262
1700538263
交叉熵损失： ．
1700538264
1700538265
（9.24）
1700538266
1700538267
1700538268
在分类问题中，yk仅在一个类别k时取值为1，其余为0。设实际的类别为，则
1700538269
1700538270
1700538271
，
1700538272
1700538273
（9.25）
1700538274
1700538275
1700538276
．
1700538277
1700538278
（9.26）
1700538279
1700538280
1700538281
f取SoftMax激活函数时，，因此
1700538282
1700538283
1700538284
．
1700538285
1700538286
（9.27）
1700538287
1700538288
问题3 平方误差损失函数和交叉熵损失函数分别适合什么场景？
1700538289
1700538290
难度：★★★☆☆
1700538291
1700538292
分析与解答
1700538293
1700538294
一般来说，平方损失函数更适合输出为连续，并且最后一层不含Sigmoid或Softmax激活函数的神经网络；交叉熵损失则更适合二分类或多分类的场景。想正确回答出答案也许并不难，但是要想给出具有理论依据的合理原因，还需要对之上一问的梯度推导熟悉掌握，并且具备一定的灵活分析能力。
1700538295
1700538296
为何平方损失函数不适合最后一层含有Sigmoid或Softmax激活函数的神经网络呢？可以回顾上一问推导出的平方误差损失函数相对于输出层的导数
1700538297
1700538298
1700538299
，