1700534918
．
1700534919
1700534920
（4.13）
1700534921
1700534922
因此式（4.8）可以写成
1700534923
1700534924
1700534925
1700534926
1700534927
1700534928
．
1700534929
1700534930
（4.14）
1700534931
1700534932
1700534933
1700534934
根据矩阵乘法的性质 ，因此优化问题可以转化为，这等价于求解带约束的优化问题
1700534935
1700534936
1700534937
1700534938
1700534939
（4.15）
1700534940
1700534941
1700534942
如果我们对W中的d个基依次求解，就会发现和最大方差理论的方法完全等价。比如当d=1时，我们实际求解的问题是
1700534943
1700534944
1700534945
1700534946
1700534947
（4.16）
1700534948
1700534949
1700534950
最佳直线ω与最大方差法求解的最佳投影方向一致，即协方差矩阵的最大特征值所对应的特征向量，差别仅是协方差矩阵Σ的一个倍数，以及常数偏差，但这并不影响我们对最大值的优化。
1700534951
1700534952
·总结与扩展·
1700534953
1700534954
至此，我们从最小平方误差的角度解释了PCA的原理、目标函数和求解方法。不难发现，这与最大方差角度殊途同归，从不同的目标函数出发，得到了相同的求解方法。
1700534955
1700534956
1700534957
1700534958
1700534959
百面机器学习：算法工程师带你去面试 [:1700532190]
1700534960
百面机器学习：算法工程师带你去面试 03 线性判别分析
1700534961
1700534962
1700534963
1700534964
场景描述
1700534965
1700534966
线性判别分析（Linear Discriminant Analysis，LDA）是一种有监督学习算法，同时经常被用来对数据进行降维。它是Ronald Fisher在1936年发明的，有些资料上也称之为Fisher LDA（Fisher’s Linear Discriminant Analysis）。LDA是目前机器学习、数据挖掘领域中经典且热门的一种算法。
1700534967