1700508527
1700508528
维度1输入 维度2输入 输出 1 1 1 1 0 1 0 1 1 0 0 0 那么，分别构造一个w和一个b，使其满足上面这个约束，其实也很容易。取w＝[20,20]，b＝－10（取法同样不止1种）。
1700508529
1700508530
1700508531
带入，会得到如表11-11所示的结果。
1700508532
1700508533
1700508534
表11-11 输入与输出（2）
1700508535
1700508536
1700508537
维度1输入 维度2输入 输出 1 1 30 1 0 10 0 1 10 0 0 -10 对这样的结果，再通过Sigmoid激励函数，也很容易得到与期望一致的1和0的输出结果。
1700508538
1700508539
同样，构造一个“非”运算也很容易，如表11-12所示。
1700508540
1700508541
表11-12 非运算
1700508542
1700508543
维度1输入 输出 1 0 0 1 那么，分别构造一个w和一个b，使其满足上面这个约束。取w＝[－20]，b＝10（取法同样不止1种）。
1700508544
1700508545
1700508546
带入，会得到如表11-13所示的结果。
1700508547
1700508548
1700508549
表11-13 输入与输出（3）
1700508550
1700508551
1700508552
维度1输入 输出 1 -10 0 10 对这样一个结果，再通过Sigmoid激励函数，仍旧可以得到与期望一致的1和0的输出结果。
1700508553
1700508554
当从多个维度输入的时候，通过w矩阵中0值的设置可以“忽略”一些对输出没有影响的维度。通过多个隐含层的叠加，可以构造数量庞大的线性分类器和“与”或“非”计算的组合，进而实现非线性分类器。
1700508555
1700508556
所以，在刚刚讨论的3层BP网络中，第1层的6个节点可以写成一个线性分类器的表达式，第2层的7个节点分别是
1700508557
1700508558
1700508559
1700508560
1700508561
的判断分类线性模型，最后一层的节点是上述7个条件的“或”条件判断线性分类器。
1700508562
1700508563
在训练的过程中，只要对各个w和b的初始化合理，使用梯度下降法是比较容易找到极小值的。
1700508564
1700508565
数据科学家养成手册 [:1700503597]
1700508566
11.9.5 激励函数
1700508567
1700508568
除了前面提到的Sigmoid激励函数以外，还有其他一些激励函数可供使用。
1700508569
1700508570
激励函数在选择的时候有一些先决条件，第一是可导性，第二是单调性（因为连续可导性和单调性可以保证在使用梯度下降法迭代的过程中逐步找到极小值）。
1700508571
1700508572
还有一种与Sigmoid函数的图像相近，曲线也呈S形的激活函数，叫作tanh函数（如图11-46所示）。
1700508573
1700508574
1700508575
1700508576