打字猴:1.70050796e+09

1700507960

1700507961 就是将每个分类向量Y和拟合值f(X)的差的绝对值进行加和运算，其物理解释非常明确，非常适合定义域和值域都是实数的空间向量的线性拟合模型。这种损失函数的优化并不困难，而且不会出现梯度越来越小时收敛速度越来越慢的问题，所以很多工业应用场合喜欢使用它。

1700507962

1700507963 平方损失函数的表达式为

1700507964

1700507965

1700507966

1700507967

1700507968 这个形式与绝对值损失函数有些相近，区别在于不是对差取绝对值进行加和运算，而是对差值的平方进行加和运算。从物理意义上看，这种方式与绝对值损失函数区别不大，而且求出的待定系数在这两种情况下互为充要条件。但是，平方损失函数的优势很明显，它是一个处处可导的凸函数，可以用梯度下降法找到极小值。这是在假设样本是高斯分布的条件下得到的结论。

1700507969

1700507970 这种用平方损失函数的方式求解线性回归拟合中的待定系数的方法也叫作“最小二乘法”（Least Squares Method），在这个例子中写作

1700507971

1700507972

1700507973

1700507974

1700507975 现在，这个问题就转化成了使用梯度下降法求解凸函数Loss(a, b)极小值的问题。如果希望得到解析解，在这种二维(a, b)的情况下还是可以实现的。而对于wT维度极高的情况，就最好使用梯度下降法求解了。

1700507976

1700507977 线性回归中使用的这种思维方式就是把拟合过程变成一个关于Loss(wT)的凸优化问题，其原则就是使全局的残差值最小化。这种方式是一种应用非常普遍的拟合方式。

1700507978

1700507979 对于非线性回归，通常有两种思路，其中一种是先把它转化成线性回归的模型进行拟合，其余不能转化的则需要通过经验、观察、多次尝试等手段进行拟合，并从中找出拟合误差最小的情况。对于拟合残差的问题，思路和线性回归一般无二，在这里我们就不用过多的篇幅进行描述了，只简单介绍一些常见的非线性拟合的模型曲线。

1700507980

1700507981