1700508010
1700508011
1700508012
1700508013
1700508014
1700508015
图11-29 幂函数曲线
1700508016
1700508017
1700508018
指数函数曲线（如图11-30所示）：
1700508019
1700508020
1700508021
1700508022
1700508023
图11-30 指数函数曲线3xy＝
1700508024
1700508025
1700508026
对数函数曲线（如图11-31所示）：
1700508027
1700508028
1700508029
1700508030
1700508031
1700508032
图11-31 对数函数曲线
1700508033
1700508034
1700508035
S曲线函数（如图11-32所示）：
1700508036
1700508037
1700508038
1700508039
1700508040
1700508041
图11-32 Sigmoid（S曲线）函数
1700508042
1700508043
关于非线性回归，我们只讨论一下逻辑回归，这种方式在机器学习中的应用还是很广泛的。
1700508044
1700508045
逻辑回归和普通线性回归的区别在于，普通线性回归的分类标签通常是连续的实数，而逻辑回归是离散的分类标签0和1。
1700508046
1700508047
逻辑回归的函数表达式为
1700508048
1700508049
1700508050
1700508051
1700508052
1700508053
1700508054
这个函数其实是由两个函数组合而成的，一个是t=wTx+b，另一个是一个线性函数。其中，是一条S形曲线，t=wTx+b是一个典型的线性回归分类器模型，在前面已经讨论过了。通过的映射，在y的值域上形成了一个值域为0和1的伯努利分布。
1700508055
1700508056
所谓伯努利分布就是一个只有0和1的分布，可以写作
1700508057
1700508058
1700508059