1700508040
1700508041
图11-32 Sigmoid（S曲线）函数
1700508042
1700508043
关于非线性回归，我们只讨论一下逻辑回归，这种方式在机器学习中的应用还是很广泛的。
1700508044
1700508045
逻辑回归和普通线性回归的区别在于，普通线性回归的分类标签通常是连续的实数，而逻辑回归是离散的分类标签0和1。
1700508046
1700508047
逻辑回归的函数表达式为
1700508048
1700508049
1700508050
1700508051
1700508052
1700508053
1700508054
这个函数其实是由两个函数组合而成的，一个是t=wTx+b，另一个是一个线性函数。其中，是一条S形曲线，t=wTx+b是一个典型的线性回归分类器模型，在前面已经讨论过了。通过的映射，在y的值域上形成了一个值域为0和1的伯努利分布。
1700508055
1700508056
所谓伯努利分布就是一个只有0和1的分布，可以写作
1700508057
1700508058
1700508059
1700508060
1700508061
也可以写作
1700508062
1700508063
1700508064
1700508065
1700508066
在逻辑回归中，可以考虑使用平方损失函数，只不过平方损失函数和逻辑回归本身的函数分布目的不同。逻辑回归希望得到的是伯努利分布的形式，也就是希望得到一个概率。
1700508067
1700508068
通过代换
1700508069
1700508070
1700508071
1700508072
1700508073
1700508074
p是一个(0, 1)之间的实数，而且的曲线是连续可导的。
1700508075
1700508076
损失函数对单个样本的损失值是
1700508077
1700508078
1700508079
1700508080
1700508081
所以，总的损失函数为
1700508082
1700508083
1700508084
1700508085
1700508086
展开后，前后两项的－log(x)在定义域上是凸函数，所以这个问题又转换成了凸优化问题。
1700508087
1700508088
在回归这种建模理念中，同样非常重视模型描述的简洁性，所以在应用中直接使用非线性规划曲线来进行非线性回归远没有使用线性回归普及，而且非线性回归对高维空间的模型拟合难度非常大，其原因主要也是这种拟合后对以残差减小为目的的优化过程难以进行。
1700508089