1700534280
当然逻辑回归和线性回归也不乏相同之处，首先我们可以认为二者都使用了极大似然估计来对训练样本进行建模。线性回归使用最小二乘法，实际上就是在自变量x与超参数θ确定，因变量y服从正态分布的假设下，使用极大似然估计的一个化简；而逻辑回归中通过对似然函数的学习，得到最佳参数θ。另外，二者在求解超参数的过程中，都可以使用梯度下降的方法，这也是监督学习中一个常见的相似之处。
1700534281
1700534282
问题2 当使用逻辑回归处理多标签的分类问题时，有哪些常见做法，分别应用于哪些场景，它们之间又有怎样的关系？
1700534283
1700534284
难度：★★★☆☆
1700534285
1700534286
分析与解答
1700534287
1700534288
使用哪一种办法来处理多分类的问题取决于具体问题的定义。首先，如果一个样本只对应于一个标签，我们可以假设每个样本属于不同标签的概率服从于几何分布，使用多项逻辑回归（Softmax Regression）来进行分类
1700534289
1700534290
1700534291
，
1700534292
1700534293
（3.15）
1700534294
1700534295
1700534296
1700534297
1700534298
1700534299
其中为模型的参数，而可以看作是对概率的归一化。为了方便起见，我们将这k个列向量按顺序排列形成n×k维矩阵，写作θ，表示整个参数集。一般来说，多项逻辑回归具有参数冗余的特点，即将同时加减一个向量后预测结果不变。特别地，当类别数为2时，
1700534300
1700534301
1700534302
．
1700534303
1700534304
（3.16）
1700534305
1700534306
利用参数冗余的特点，我们将所有参数减去θ1，式（3.16）变为
1700534307
1700534308
1700534309
1700534310
1700534311
1700534312
，
1700534313
1700534314
（3.17）
1700534315
1700534316
1700534317
其中。而整理后的式子与逻辑回归一致。因此，多项逻辑回归实际上是二分类逻辑回归在多标签分类下的一种拓展。
1700534318
1700534319
当存在样本可能属于多个标签的情况时，我们可以训练k个二分类的逻辑回归分类器。第i个分类器用以区分每个样本是否可以归为第i类，训练该分类器时，需要把标签重新整理为“第i类标签”与“非第i类标签”两类。通过这样的办法，我们就解决了每个样本可能拥有多个标签的情况。
1700534320
1700534321
1700534322
1700534323
1700534324
百面机器学习：算法工程师带你去面试 [:1700532186]
1700534325
百面机器学习：算法工程师带你去面试 03 决策树
1700534326
1700534327
1700534328
1700534329
场景描述