1700538250
1700538251
平方误差损失: ,
1700538252
1700538253
(9.22)
1700538254
1700538255
1700538256
.
1700538257
1700538258
(9.23)
1700538259
1700538260
1700538261
1700538262
1700538263
交叉熵损失: .
1700538264
1700538265
(9.24)
1700538266
1700538267
1700538268
在分类问题中,yk仅在一个类别k时取值为1,其余为0。设实际的类别为,则
1700538269
1700538270
1700538271
,
1700538272
1700538273
(9.25)
1700538274
1700538275
1700538276
.
1700538277
1700538278
(9.26)
1700538279
1700538280
1700538281
f取SoftMax激活函数时,,因此
1700538282
1700538283
1700538284
.
1700538285
1700538286
(9.27)
1700538287
1700538288
问题3 平方误差损失函数和交叉熵损失函数分别适合什么场景?
1700538289
1700538290
难度:★★★☆☆
1700538291
1700538292
分析与解答
1700538293
1700538294
一般来说,平方损失函数更适合输出为连续,并且最后一层不含Sigmoid或Softmax激活函数的神经网络;交叉熵损失则更适合二分类或多分类的场景。想正确回答出答案也许并不难,但是要想给出具有理论依据的合理原因,还需要对之上一问的梯度推导熟悉掌握,并且具备一定的灵活分析能力。
1700538295
1700538296
为何平方损失函数不适合最后一层含有Sigmoid或Softmax激活函数的神经网络呢?可以回顾上一问推导出的平方误差损失函数相对于输出层的导数
1700538297
1700538298
1700538299
,
[
上一页 ]
[ :1.70053825e+09 ]
[
下一页 ]