1700534244
百面机器学习：算法工程师带你去面试 [:1700532185]
1700534245
百面机器学习：算法工程师带你去面试 02 逻辑回归
1700534246
1700534247
1700534248
1700534249
场景描述
1700534250
1700534251
逻辑回归（Logistic Regression）可以说是机器学习领域最基础也是最常用的模型，逻辑回归的原理推导以及扩展应用几乎是算法工程师的必备技能。医生病理诊断、银行个人信用评估、邮箱分类垃圾邮件等，无不体现逻辑回归精巧而广泛的应用。本小节将从模型与原理出发，涵盖扩展与应用，一探逻辑回归的真谛。
1700534252
1700534253
知识点
1700534254
1700534255
逻辑回归，线性回归，多标签分类，Softmax
1700534256
1700534257
问题1 逻辑回归相比于线性回归，有何异同？
1700534258
1700534259
难度：★★☆☆☆
1700534260
1700534261
分析与解答
1700534262
1700534263
逻辑回归，乍一听名字似乎和数学中的线性回归问题异派同源，但其本质却是大相径庭。
1700534264
1700534265
1700534266
1700534267
1700534268
1700534269
首先，逻辑回归处理的是分类问题，线性回归处理的是回归问题，这是两者的最本质的区别。逻辑回归中，因变量取值是一个二元分布，模型学习得出的是，即给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类问题。而线性回归中实际上求解的是，是对我们假设的真实关系的一个近似，其中代表误差项，我们使用这个近似项来处理回归问题。
1700534270
1700534271
1700534272
1700534273
1700534274
分类和回归是如今机器学习中两个不同的任务，而属于分类算法的逻辑回归，其命名有一定的历史原因。这个方法最早由统计学家David Cox在他1958年的论文《二元序列中的回归分析》（The regression analysis of binary sequences）中提出，当时人们对于回归与分类的定义与今天有一定区别，只是将“回归”这一名字沿用了。实际上，将逻辑回归的公式进行整理，我们可以得到，其中，也就是将给定输入x预测为正样本的概率。如果把一个事件的几率（odds）定义为该事件发生的概率与该事件不发生的概率的比值，那么逻辑回归可以看作是对于“y=1|x”这一事件的对数几率的线性回归，于是“逻辑回归”这一称谓也就延续了下来。
1700534275
1700534276
1700534277
在关于逻辑回归的讨论中，我们均认为y是因变量，而非，这便引出逻辑回归与线性回归最大的区别，即逻辑回归中的因变量为离散的，而线性回归中的因变量是连续的。并且在自变量x与超参数θ确定的情况下，逻辑回归可以看作广义线性模型（Generalized Linear Models）在因变量y服从二元分布时的一个特殊情况；而使用最小二乘法求解线性回归时，我们认为因变量y服从正态分布。
1700534278
1700534279
1700534280
当然逻辑回归和线性回归也不乏相同之处，首先我们可以认为二者都使用了极大似然估计来对训练样本进行建模。线性回归使用最小二乘法，实际上就是在自变量x与超参数θ确定，因变量y服从正态分布的假设下，使用极大似然估计的一个化简；而逻辑回归中通过对似然函数的学习，得到最佳参数θ。另外，二者在求解超参数的过程中，都可以使用梯度下降的方法，这也是监督学习中一个常见的相似之处。
1700534281
1700534282
问题2 当使用逻辑回归处理多标签的分类问题时，有哪些常见做法，分别应用于哪些场景，它们之间又有怎样的关系？
1700534283
1700534284
难度：★★★☆☆
1700534285
1700534286
分析与解答
1700534287
1700534288
使用哪一种办法来处理多分类的问题取决于具体问题的定义。首先，如果一个样本只对应于一个标签，我们可以假设每个样本属于不同标签的概率服从于几何分布，使用多项逻辑回归（Softmax Regression）来进行分类
1700534289
1700534290
1700534291
，
1700534292
1700534293
（3.15）