1700508366
1700508367
1700508368
1700508369
1700508370
97 x和y分别是向量的两个维度。
1700508371
1700508372
相当于在一个二维空间中画一条直线，处于直线两侧的二维向量各属于一个分类（如图11-41所示）。
1700508373
1700508374
1700508375
1700508376
1700508377
图11-41 超平面2x – y+2=0
1700508378
1700508379
在这样一个分类器模型中，将x和y带入，就能得到一个1或0的分类结果。为了让这个投射过程是一个连续可导的函数，通常不会用
1700508380
1700508381
1700508382
1700508383
1700508384
这种表达式，而是用一个Sigmoid函数作为激励函数来完成投射过程（如图11-43所示）。
1700508385
1700508386
1700508387
1700508388
1700508389
1700508390
1700508391
1700508392
1700508393
图11-42
1700508394
1700508395
这个图形大家应该都不陌生，在本书中也不是第一次出现了，使用它充当激励函数的好处就是在一个最小的线性分类器单元中用连续可导的函数完成了一个0, 1分类问题。
1700508396
1700508397
单个神经元的工作方式与逻辑回归几乎没有区别，训练过程也一样。这只是最简单的神经元设计方式。神经元的设计方式其实不止这一种（例如，在基于核方法的径向基函数网络中使用的就不是这种方式），激励函数也远不止Sigmoid函数这一种。
1700508398
1700508399
数据科学家养成手册 [:1700503594]
1700508400
11.9.2 BP神经网络
1700508401
1700508402
BP神经网络（Back Propagation）是所有神经网络中最为传统的一种，也是在数学模型上相对容易理解的一种。
1700508403
1700508404
2层全连接网络（如图11-43所示）有一个输入层用来接收输入的完整向量，有多少个维度就有多少个输入项。隐含层可以是1层，也可以是多层全连接的状态，每层上每个节点的输入都来源于上一层所有神经元的输出。在这个矩阵里，隐含层和输出层是处理数据的关键。
1700508405
1700508406
1700508407
1700508408
1700508409
图11-43 2层全连接神经网络
1700508410
1700508411
1700508412
1700508413
1700508414
这样，一个m行n列的BP神经网络可以简记作一个m行n列的矩阵，这也是训练后得到的结果。
1700508415