打字猴:1.700534909e+09
1700534909
1700534910
1700534911
1700534912 注意到, 实际上就是矩阵 的迹(对角线元素之和),于是可以将式(4.9)继续化简
1700534913
1700534914
1700534915
1700534916
1700534917
1700534918
1700534919
1700534920 (4.13)
1700534921
1700534922 因此式(4.8)可以写成
1700534923
1700534924
1700534925
1700534926
1700534927
1700534928
1700534929
1700534930 (4.14)
1700534931
1700534932
1700534933
1700534934 根据矩阵乘法的性质 ,因此优化问题可以转化为,这等价于求解带约束的优化问题
1700534935
1700534936
1700534937
1700534938
1700534939 (4.15)
1700534940
1700534941
1700534942 如果我们对W中的d个基依次求解,就会发现和最大方差理论的方法完全等价。比如当d=1时,我们实际求解的问题是
1700534943
1700534944
1700534945
1700534946
1700534947 (4.16)
1700534948
1700534949
1700534950 最佳直线ω与最大方差法求解的最佳投影方向一致,即协方差矩阵的最大特征值所对应的特征向量,差别仅是协方差矩阵Σ的一个倍数,以及常数偏差,但这并不影响我们对最大值的优化。
1700534951
1700534952 ·总结与扩展·
1700534953
1700534954 至此,我们从最小平方误差的角度解释了PCA的原理、目标函数和求解方法。不难发现,这与最大方差角度殊途同归,从不同的目标函数出发,得到了相同的求解方法。
1700534955
1700534956
1700534957
1700534958
[ 上一页 ]  [ :1.700534909e+09 ]  [ 下一页 ]