1700535118
难度：★★☆☆☆
1700535119
1700535120
分析与解答
1700535121
1700535122
1700535123
首先将LDA扩展到多类高维的情况，以和问题1中PCA的求解对应。假设有N个类别，并需要最终将特征降维至d维。因此，我们要找到一个d维投影超平面，使得投影后的样本点满足LDA的目标——最大化类间距离和最小化类内距离。
1700535124
1700535125
1700535126
1700535127
1700535128
回顾两个散度矩阵，类内散度矩阵 在类别增加至N时仍满足定义，而之前两类问题的类间散度矩阵 在类别增加后就无法按照原始定义。图4.6是三类样本的分布情况，其中 分别表示棕绿黄三类样本的中心，μ表示这三个中心的均值（也即全部样本的中心），Swi表示第i类的类内散度。我们可以定义一个新的矩阵St，来表示全局整体的散度，称为全局散度矩阵
1700535129
1700535130
1700535131
．
1700535132
1700535133
（4.28）
1700535134
1700535135
1700535136
1700535137
1700535138
图4.6 三类样本的分布情况
1700535139
1700535140
如果把全局散度定义为类内散度与类间散度之和，即St=Sb+Sw，那么类间散度矩阵可表示为
1700535141
1700535142
1700535143
1700535144
1700535145
1700535146
，
1700535147
1700535148
（4.29）
1700535149
1700535150
其中mj是第j个类别中的样本个数，N是总的类别个数。从式（4.29）可以看出，类间散度表示的就是每个类别中心到全局中心的一种加权距离。我们最大化类间散度实际上优化的是每个类别的中心经过投影后离全局中心的投影足够远。
1700535151
1700535152
根据LDA的原理，可以将最大化的目标定义为
1700535153
1700535154
1700535155
，
1700535156
1700535157
（4.30）
1700535158
1700535159
其中W是需要求解的投影超平面，WTW=I，根据问题2和问题3中的部分结论，我们可以推导出最大化J(W)对应了以下广义特征值求解的问题
1700535160
1700535161
1700535162
．
1700535163
1700535164
（4.31）
1700535165
1700535166
1700535167
