1700534274
分类和回归是如今机器学习中两个不同的任务，而属于分类算法的逻辑回归，其命名有一定的历史原因。这个方法最早由统计学家David Cox在他1958年的论文《二元序列中的回归分析》（The regression analysis of binary sequences）中提出，当时人们对于回归与分类的定义与今天有一定区别，只是将“回归”这一名字沿用了。实际上，将逻辑回归的公式进行整理，我们可以得到，其中，也就是将给定输入x预测为正样本的概率。如果把一个事件的几率（odds）定义为该事件发生的概率与该事件不发生的概率的比值，那么逻辑回归可以看作是对于“y=1|x”这一事件的对数几率的线性回归，于是“逻辑回归”这一称谓也就延续了下来。
1700534275
1700534276
1700534277
在关于逻辑回归的讨论中，我们均认为y是因变量，而非，这便引出逻辑回归与线性回归最大的区别，即逻辑回归中的因变量为离散的，而线性回归中的因变量是连续的。并且在自变量x与超参数θ确定的情况下，逻辑回归可以看作广义线性模型（Generalized Linear Models）在因变量y服从二元分布时的一个特殊情况；而使用最小二乘法求解线性回归时，我们认为因变量y服从正态分布。
1700534278
1700534279
1700534280
当然逻辑回归和线性回归也不乏相同之处，首先我们可以认为二者都使用了极大似然估计来对训练样本进行建模。线性回归使用最小二乘法，实际上就是在自变量x与超参数θ确定，因变量y服从正态分布的假设下，使用极大似然估计的一个化简；而逻辑回归中通过对似然函数的学习，得到最佳参数θ。另外，二者在求解超参数的过程中，都可以使用梯度下降的方法，这也是监督学习中一个常见的相似之处。
1700534281
1700534282
问题2 当使用逻辑回归处理多标签的分类问题时，有哪些常见做法，分别应用于哪些场景，它们之间又有怎样的关系？
1700534283
1700534284
难度：★★★☆☆
1700534285
1700534286
分析与解答
1700534287
1700534288
使用哪一种办法来处理多分类的问题取决于具体问题的定义。首先，如果一个样本只对应于一个标签，我们可以假设每个样本属于不同标签的概率服从于几何分布，使用多项逻辑回归（Softmax Regression）来进行分类
1700534289
1700534290
1700534291
，
1700534292
1700534293
（3.15）
1700534294
1700534295
1700534296
1700534297
1700534298
1700534299
其中为模型的参数，而可以看作是对概率的归一化。为了方便起见，我们将这k个列向量按顺序排列形成n×k维矩阵，写作θ，表示整个参数集。一般来说，多项逻辑回归具有参数冗余的特点，即将同时加减一个向量后预测结果不变。特别地，当类别数为2时，
1700534300
1700534301
1700534302
．
1700534303
1700534304
（3.16）
1700534305
1700534306
利用参数冗余的特点，我们将所有参数减去θ1，式（3.16）变为
1700534307
1700534308
1700534309
1700534310
1700534311
1700534312
，
1700534313
1700534314
（3.17）
1700534315
1700534316
1700534317
其中。而整理后的式子与逻辑回归一致。因此，多项逻辑回归实际上是二分类逻辑回归在多标签分类下的一种拓展。
1700534318
1700534319
当存在样本可能属于多个标签的情况时，我们可以训练k个二分类的逻辑回归分类器。第i个分类器用以区分每个样本是否可以归为第i类，训练该分类器时，需要把标签重新整理为“第i类标签”与“非第i类标签”两类。通过这样的办法，我们就解决了每个样本可能拥有多个标签的情况。
1700534320
1700534321
1700534322
1700534323