1700508232
1700508233
1700508234
图11-35 合页损失函数
1700508235
1700508236
如果线性不可分，在SVM机器学习算法中会使用一种叫作“核函数”（Kernel）的函数对数据进行升维操作，这也是对非线性分类问题的处理。
1700508237
1700508238
核函数是一种技巧，通过把当前的x向量以一个函数K(x, z)映射到高维空间，让K(x, z)映射后的可以用于分类的超曲面方程在低维空间中仍然呈现超平面的形态。
1700508239
1700508240
1700508241
1700508242
1700508243
就是一个想定的核函数形态。
1700508244
1700508245
1700508246
1700508247
将K(x, z)定义为函数与的内积。其最直观的例子就是在二维空间里假设有一个椭圆能够把空间划分为两部分（这是线性不可分的），椭圆的方程为
1700508248
1700508249
1700508250
1700508251
1700508252
定义
1700508253
1700508254
1700508255
1700508256
1700508257
则原来的椭圆方程就可以退化为
1700508258
1700508259
1700508260
1700508261
1700508262
这就是一个(z1, z2)坐标系中的直线方程了。
1700508263
1700508264
1700508265
1700508266
1700508267
1700508268
在核函数的技巧中，可以通过不构造的方式构造符合要求的核函数K(x, z)。这里有一个充要条件，就是让K(x, z)为正定核。设是定义在χ×χ上的对称函数，如果对任意对应的Gram矩阵是半正定矩阵，则称K(x, z)是正定核。
1700508269
1700508270
常用的核函数有多项式核函数
1700508271
1700508272
1700508273
1700508274
1700508275
高斯核函数（径向核函数）
1700508276
1700508277
1700508278
1700508279
1700508280
等。这些核函数都能够帮助x升维，进而达到线性可分的分类效果。由于只需要构建K(x, z)，不需要构建(Φ)x，所以在训练中不给出样本的空间坐标，只给出它们之间的距离，同样能够成功学习出分类规则。这是SVM非常强大的地方。
1700508281