1700508399
数据科学家养成手册 [:1700503594]
1700508400
11.9.2 BP神经网络
1700508401
1700508402
BP神经网络（Back Propagation）是所有神经网络中最为传统的一种，也是在数学模型上相对容易理解的一种。
1700508403
1700508404
2层全连接网络（如图11-43所示）有一个输入层用来接收输入的完整向量，有多少个维度就有多少个输入项。隐含层可以是1层，也可以是多层全连接的状态，每层上每个节点的输入都来源于上一层所有神经元的输出。在这个矩阵里，隐含层和输出层是处理数据的关键。
1700508405
1700508406
1700508407
1700508408
1700508409
图11-43 2层全连接神经网络
1700508410
1700508411
1700508412
1700508413
1700508414
这样，一个m行n列的BP神经网络可以简记作一个m行n列的矩阵，这也是训练后得到的结果。
1700508415
1700508416
数据科学家养成手册 [:1700503595]
1700508417
11.9.3 损失函数
1700508418
1700508419
和一般机器学习中的SVM、线性回归一样，神经网络中的损失函数也是用每个样本xi带入后的输出值f(xi)及样本中的yi的差异的累加值来描述的。这种差异的描述方式不止一种，常见的方式列举如下。
1700508420
1700508421
绝对值损失函数：
1700508422
1700508423
1700508424
1700508425
1700508426
平方损失函数：
1700508427
1700508428
1700508429
1700508430
1700508431
交叉熵损失函数：
1700508432
1700508433
1700508434
1700508435
1700508436
在寻求损失函数极小化的过程中，目前工业领域应用效果比较好的方法就是通过梯度下降或者随机梯度下降的方式来寻找极小值。对每个wij求偏导，会得到如下矩阵。
1700508437
1700508438
1700508439
1700508440
1700508441
每次通过更新wij进行迭代，经过多次迭代找到极小值的wij。
1700508442
1700508443
1700508444
1700508445
1700508446
1700508447
1700508448
