1700508422
1700508423
1700508424
1700508425
1700508426
平方损失函数：
1700508427
1700508428
1700508429
1700508430
1700508431
交叉熵损失函数：
1700508432
1700508433
1700508434
1700508435
1700508436
在寻求损失函数极小化的过程中，目前工业领域应用效果比较好的方法就是通过梯度下降或者随机梯度下降的方式来寻找极小值。对每个wij求偏导，会得到如下矩阵。
1700508437
1700508438
1700508439
1700508440
1700508441
每次通过更新wij进行迭代，经过多次迭代找到极小值的wij。
1700508442
1700508443
1700508444
1700508445
1700508446
1700508447
1700508448
1700508449
其中，η是学习率，即更新时移动的步长基数；和分别对矩阵中的第i行第j列的w和b求偏导数。这种更新方式会使Loss函数优化过程在最初斜率较大的部分移动更新幅度较大，而在临近极小值的部分自动将更新幅度调小。至于每个wij究竟应该移动多少，我们通过推导相对容易的平方损失函数来看一看。这里的“C”代表“Cost”，与“Loss”同义。根据链式法则，有
1700508450
1700508451
1700508452
1700508453
1700508454
则对最后一层上任意一个神经元的w0，都有
1700508455
1700508456
1700508457
1700508458
1700508459
1700508460
别忘了，这里还有一个激励函数。
1700508461
1700508462
同理，对最后一层上任意一个神经元的b，都有
1700508463
1700508464
1700508465
1700508466
1700508467
对最后一层来说，它的前一层的任意一个神经元的输出都是其函数的输入，那么对于其前一层的任意一个神经元的w1和b1来说，仍然可以用链式法则来推导。
1700508468
1700508469
通常这种损失函数得到的值非常大（可能是几百万，上亿也毫不奇怪），尤其是在几百万维的图片识别训练中——这与它的定义有关。在它逐步减小的过程中，通过判断损失函数值超过某个值来决定终止通常是很不明智的，原因有如下两个。
1700508470
1700508471
第一，在这个收敛过程中，损失值的大小没有具体的物理解释，所以无法通过指定一个“较小”的损失值来确保召回率和准确率。