1700508160
1700508161
1700508162
以二维空间的向量为例，最后希望用如图11-34所示的方式找到超平面wx+b=0，其中需要学习的就是w和b。在这里有一个假设，就是在分类正确的情况下距离超平面越远的点其确信程度越高，也就是在超平面方程wx+b=0给定的情况下，可以使用一个间隔函数个向量到超平面的距离。
1700508163
1700508164
1700508165
1700508166
1700508167
图11-34 二维空间向量超平面
1700508168
1700508169
某个向量点xi到超平面的距离用欧氏距离（Euclidean Metric）表示，可以写作
1700508170
1700508171
1700508172
1700508173
1700508174
根据yi取值的特点，可以写作
1700508175
1700508176
1700508177
1700508178
1700508179
因此也叫作“几何间隔”。其中，||w||叫作“范数”，在欧式空间中的欧式范数定义为
1700508180
1700508181
1700508182
1700508183
1700508184
是向量的模。
1700508185
1700508186
几何间隔在空间几何上有具体的几何距离解释，这和我们在二维空间中求点到直线的距离及在三维空间中求点到平面的距离的计算方式是一样的。如果在规范化后，令||w||＝1，间隔距离可以写作
1700508187
1700508188
1700508189
1700508190
1700508191
也叫作“函数间隔”。
1700508192
1700508193
定义一个训练集中的样本点到超平面wx+b=0几何距离最小的点
1700508194
1700508195
1700508196
1700508197
1700508198
所以，现在的问题就变成了怎样让γ最大化。
1700508199
1700508200
支持向量机学习的基本思路是，找到能够正确划分训练数据集且几何间隔最大的分离超平面。对线性可分的训练数据集来说，线性可分的分离超平面有无穷多个，但是几何间隔最大的分离超平面是唯一的。
1700508201
1700508202
“间隔最大化”又称“硬间隔最大化”，其直观解释是：对训练数据集找到几何间隔最大的超平面，意味着以充分大的确信度对训练数据进行分类，对最贴近超平面的点也有足够大的确信度将它们分开，以保证获得很好的分类预测能力。
1700508203
1700508204
在线性可分的情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为“支持向量”（Support Vector，如图11-34所示用圆圈标出的五角星和圆点）。
1700508205
1700508206
在SVM进行训练的过程中，会使用一种叫作“Hinge Loss”（也译作“合页损失函数”）的函数来充当损失函数。这个函数写作
1700508207
1700508208
1700508209