1700535168
求解最佳投影平面 即求解 矩阵特征值前d大对应的特征向量组成的矩阵，这就将原始的特征空间投影到了新的d维空间中。至此我们得到了与PCA步骤类似，但具有多个类别标签高维数据的LDA求解方法。
1700535169
1700535170
（1）计算数据集中每个类别样本的均值向量μj，及总体均值向量μ。
1700535171
1700535172
1700535173
（2）计算类内散度矩阵Sw，全局散度矩阵St，并得到类间散度矩阵 。
1700535174
1700535175
1700535176
（3）对矩阵 进行特征值分解，将特征值从大到小排列。
1700535177
1700535178
1700535179
（4）取特征值前d大的对应的特征向量 ，通过以下映射将n维样本映射到d维
1700535180
1700535181
1700535182
．
1700535183
1700535184
（4.32）
1700535185
1700535186
从PCA和LDA两种降维方法的求解过程来看，它们确实有着很大的相似性，但对应的原理却有所区别。
1700535187
1700535188
首先从目标出发，PCA选择的是投影后数据方差最大的方向。由于它是无监督的，因此PCA假设方差越大，信息量越多，用主成分来表示原始数据可以去除冗余的维度，达到降维。而LDA选择的是投影后类内方差小、类间方差大的方向。其用到了类别标签信息，为了找到数据中具有判别性的维度，使得原始数据在这些方向上投影后，不同类别尽可能区分开。
1700535189
1700535190
举一个简单的例子，在语音识别中，我们想从一段音频中提取出人的语音信号，这时可以使用PCA先进行降维，过滤掉一些固定频率（方差较小）的背景噪声。但如果我们的需求是从这段音频中区分出声音属于哪个人，那么我们应该使用LDA对数据进行降维，使每个人的语音信号具有区分性。
1700535191
1700535192
另外，在人脸识别领域中，PCA和LDA都会被频繁使用。基于PCA的人脸识别方法也称为特征脸（Eigenface）方法，该方法将人脸图像按行展开形成一个高维向量，对多个人脸特征的协方差矩阵做特征值分解，其中较大特征值对应的特征向量具有与人脸相似的形状，故称为特征脸。Eigenface for Recognition一文中将人脸用7个特征脸表示（见图4.7），于是可以把原始65536维的图像特征瞬间降到7维，人脸识别在降维后的空间上进行。然而由于其利用PCA进行降维，一般情况下保留的是最佳描述特征（主成分），而非分类特征。如果我们想要达到更好的人脸识别效果，应该用LDA方法对数据集进行降维，使得不同人脸在投影后的特征具有一定区分性。
1700535193
1700535194
1700535195
1700535196
1700535197
图4.7 基于PCA的降维方法，得到7个特征脸
1700535198
1700535199
从应用的角度，我们可以掌握一个基本的原则——对无监督的任务使用PCA进行降维，对有监督的则应用LDA。
1700535200
1700535201
·总结与扩展·
1700535202
1700535203
至此，我们从数学原理、优化目标以及应用场景的角度对比了PCA和LDA这两种经典的线性降维方法，对于非线性数据，可以通过核映射等方法对二者分别进行扩展以得到更好的降维效果。关于特征脸这一降维应用，有兴趣的读者可以拜读最经典的Eigenface论文[4]，更好地理解降维算法的实际应用。
1700535204
1700535205
1700535206
1700535207
1700535208
百面机器学习：算法工程师带你去面试 [:1700532192]
1700535209
百面机器学习：算法工程师带你去面试 第5章 非监督学习
1700535210
1700535211
在实际工作中，我们经常会遇到这样一类问题：给机器输入大量的特征数据，并期望机器通过学习找到数据中存在的某种共性特征或者结构，亦或是数据之间存在的某种关联。例如，视频网站根据用户的观看行为对用户进行分组从而建立不同的推荐策略，或是寻找视频播放是否流畅与用户是否退订之间的关系等。这类问题被称作“非监督学习”问题，它并不是像监督学习那样希望预测某种输出结果。
1700535212
1700535213
相比于监督学习，非监督学习的输入数据没有标签信息，需要通过算法模型来挖掘数据内在的结构和模式。非监督学习主要包含两大类学习方法：数据聚类和特征变量关联。其中，聚类算法往往是通过多次迭代来找到数据的最优分割，而特征变量关联则是利用各种相关性分析方法来找到变量之间的关系。
1700535214
1700535215
1700535216
1700535217