1700535103
百面机器学习：算法工程师带你去面试 [:1700532191]
1700535104
百面机器学习：算法工程师带你去面试 04 线性判别分析与主成分分析
1700535105
1700535106
1700535107
1700535108
场景描述
1700535109
1700535110
同样作为线性降维方法，PCA是有监督的降维算法，而LDA是无监督的降维算法。虽然在原理或应用方面二者有一定的区别，但是从这两种方法的数学本质出发，我们不难发现二者有很多共通的特性。
1700535111
1700535112
知识点
1700535113
1700535114
线性代数，PCA，LDA
1700535115
1700535116
问题 LDA和PCA作为经典的降维算法，如何从应用的角度分析其原理的异同？从数学推导的角度，两种降维算法在目标函数上有何区别与联系？
1700535117
1700535118
难度：★★☆☆☆
1700535119
1700535120
分析与解答
1700535121
1700535122
1700535123
首先将LDA扩展到多类高维的情况，以和问题1中PCA的求解对应。假设有N个类别，并需要最终将特征降维至d维。因此，我们要找到一个d维投影超平面，使得投影后的样本点满足LDA的目标——最大化类间距离和最小化类内距离。
1700535124
1700535125
1700535126
1700535127
1700535128
回顾两个散度矩阵，类内散度矩阵 在类别增加至N时仍满足定义，而之前两类问题的类间散度矩阵 在类别增加后就无法按照原始定义。图4.6是三类样本的分布情况，其中 分别表示棕绿黄三类样本的中心，μ表示这三个中心的均值（也即全部样本的中心），Swi表示第i类的类内散度。我们可以定义一个新的矩阵St，来表示全局整体的散度，称为全局散度矩阵
1700535129
1700535130
1700535131
．
1700535132
1700535133
（4.28）
1700535134
1700535135
1700535136
1700535137
1700535138
图4.6 三类样本的分布情况
1700535139
1700535140
如果把全局散度定义为类内散度与类间散度之和，即St=Sb+Sw，那么类间散度矩阵可表示为
1700535141
1700535142
1700535143
1700535144
1700535145
1700535146
，
1700535147
1700535148
（4.29）
1700535149
1700535150
其中mj是第j个类别中的样本个数，N是总的类别个数。从式（4.29）可以看出，类间散度表示的就是每个类别中心到全局中心的一种加权距离。我们最大化类间散度实际上优化的是每个类别的中心经过投影后离全局中心的投影足够远。
1700535151
1700535152
根据LDA的原理，可以将最大化的目标定义为