1700507940
1700507941
1700507942
其中，x是一个n维向量，或者可以看成一个n×1的矩阵，wT是一个1×n的矩阵，两者作内积再加b，就是一个一维向量（一个实数值）。
1700507943
1700507944
f(x)=wTx+b最常见、最普及的形式是f(x)=ax+b。这种形式我们每个人在上中学的时候都见过，也是一维向量x的特例形式。在这种情况下做拟合，就是把每个向量x和它的分类向量y带入分类器中进行训练，最终推导出最为合适的wT和b。
1700507945
1700507946
“最为合适”是什么概念呢？在回归模型的认知体系中，通常把能够保证全局误差小的wT和b作为要求的解，误差越小，说明这种wT和b对描述模型来说越准确。以f(x)=ax+b为例，可以把这个求解最优化a和b的问题变成一个最小化损失函数Loss（误差函数）的问题。
1700507947
1700507948
对机器学习中的训练来说，损失函数Loss的设计也有一些讲究。
1700507949
1700507950
第一，它应该具有相对明确的统计学或物理解释，能够比较直观地说明这个值的大小和误差之间的量化关系，并且恒为非负数。
1700507951
1700507952
第二，损失函数Loss是否能够通过相对容易的方式进行优化。如果能够以我们熟悉的方式进行优化，就比较好。此外，损失函数Loss的优化过程收敛速度要快。
1700507953
1700507954
常见的损失函数有绝对值损失函数（Absolute Loss Function）、平方损失函数（Squadratic Loss Function）、0-1损失函数（0-1 Loss Function）、对数损失函数（Logarithmic Loss Function）和Hinge损失函数（Hinge Loss Function）。除此之外，还有一些损失函数的构造方法。在不同的场景中，损失函数通常不建议通用，原则上还是参考刚刚提出的两点。涉及哪个损失函数，就解析哪个损失函数。
1700507955
1700507956
绝对值损失函数的表达式为
1700507957
1700507958
1700507959
1700507960
1700507961
就是将每个分类向量Y和拟合值f(X)的差的绝对值进行加和运算，其物理解释非常明确，非常适合定义域和值域都是实数的空间向量的线性拟合模型。这种损失函数的优化并不困难，而且不会出现梯度越来越小时收敛速度越来越慢的问题，所以很多工业应用场合喜欢使用它。
1700507962
1700507963
平方损失函数的表达式为
1700507964
1700507965
1700507966
1700507967
1700507968
这个形式与绝对值损失函数有些相近，区别在于不是对差取绝对值进行加和运算，而是对差值的平方进行加和运算。从物理意义上看，这种方式与绝对值损失函数区别不大，而且求出的待定系数在这两种情况下互为充要条件。但是，平方损失函数的优势很明显，它是一个处处可导的凸函数，可以用梯度下降法找到极小值。这是在假设样本是高斯分布的条件下得到的结论。
1700507969
1700507970
这种用平方损失函数的方式求解线性回归拟合中的待定系数的方法也叫作“最小二乘法”（Least Squares Method），在这个例子中写作
1700507971
1700507972
1700507973
1700507974
1700507975
现在，这个问题就转化成了使用梯度下降法求解凸函数Loss(a, b)极小值的问题。如果希望得到解析解，在这种二维(a, b)的情况下还是可以实现的。而对于wT维度极高的情况，就最好使用梯度下降法求解了。
1700507976
1700507977
线性回归中使用的这种思维方式就是把拟合过程变成一个关于Loss(wT)的凸优化问题，其原则就是使全局的残差值最小化。这种方式是一种应用非常普遍的拟合方式。
1700507978
1700507979
对于非线性回归，通常有两种思路，其中一种是先把它转化成线性回归的模型进行拟合，其余不能转化的则需要通过经验、观察、多次尝试等手段进行拟合，并从中找出拟合误差最小的情况。对于拟合残差的问题，思路和线性回归一般无二，在这里我们就不用过多的篇幅进行描述了，只简单介绍一些常见的非线性拟合的模型曲线。
1700507980
1700507981
1700507982
双曲线（如图11-26所示）：
1700507983
1700507984
1700507985
1700507986
1700507987
1700507988
图11-26 双曲线
1700507989