1700508360
这样，(φ)x分类器函数里的x就是一个线性分类器，激活函数则用来对这个输出的“波幅”进行限制，通常限制在 [0, 1]。当然，也会根据不同的需求产生其他激活函数。
1700508361
1700508362
在这个表达式中，wT是一个n维的向量，x也是一个n维的向量，这两个向量做内积再加b，就形成了一个有关n维的x向量的线性分类器。如果不约束后面函数值的输出，那么只要给定一个wT和一个x，就会产生一个实数范围内的数值。一般来说，对于简单场景下的分类模型，可以只尝试使用一个线性分类器来实现，这相当于在一个n维空间中寻找一个超平面，并尝试用这个超平面把空间中的向量分成两类。
1700508363
1700508364
例如，在一个二维空间中有一个分类器
1700508365
1700508366
1700508367
1700508368
1700508369
1700508370
97 x和y分别是向量的两个维度。
1700508371
1700508372
相当于在一个二维空间中画一条直线，处于直线两侧的二维向量各属于一个分类（如图11-41所示）。
1700508373
1700508374
1700508375
1700508376
1700508377
图11-41 超平面2x – y+2=0
1700508378
1700508379
在这样一个分类器模型中，将x和y带入，就能得到一个1或0的分类结果。为了让这个投射过程是一个连续可导的函数，通常不会用
1700508380
1700508381
1700508382
1700508383
1700508384
这种表达式，而是用一个Sigmoid函数作为激励函数来完成投射过程（如图11-43所示）。
1700508385
1700508386
1700508387
1700508388
1700508389
1700508390
1700508391
1700508392
1700508393
图11-42
1700508394
1700508395
这个图形大家应该都不陌生，在本书中也不是第一次出现了，使用它充当激励函数的好处就是在一个最小的线性分类器单元中用连续可导的函数完成了一个0, 1分类问题。
1700508396
1700508397
单个神经元的工作方式与逻辑回归几乎没有区别，训练过程也一样。这只是最简单的神经元设计方式。神经元的设计方式其实不止这一种（例如，在基于核方法的径向基函数网络中使用的就不是这种方式），激励函数也远不止Sigmoid函数这一种。
1700508398
1700508399
数据科学家养成手册 [:1700503594]
1700508400
11.9.2 BP神经网络
1700508401
1700508402
BP神经网络（Back Propagation）是所有神经网络中最为传统的一种，也是在数学模型上相对容易理解的一种。
1700508403
1700508404
2层全连接网络（如图11-43所示）有一个输入层用来接收输入的完整向量，有多少个维度就有多少个输入项。隐含层可以是1层，也可以是多层全连接的状态，每层上每个节点的输入都来源于上一层所有神经元的输出。在这个矩阵里，隐含层和输出层是处理数据的关键。
1700508405
1700508406
1700508407
1700508408
1700508409
图11-43 2层全连接神经网络