1700534909
1700534910
1700534911
1700534912
注意到, 实际上就是矩阵 的迹(对角线元素之和),于是可以将式(4.9)继续化简
1700534913
1700534914
1700534915
1700534916
1700534917
1700534918
.
1700534919
1700534920
(4.13)
1700534921
1700534922
因此式(4.8)可以写成
1700534923
1700534924
1700534925
1700534926
1700534927
1700534928
.
1700534929
1700534930
(4.14)
1700534931
1700534932
1700534933
1700534934
根据矩阵乘法的性质 ,因此优化问题可以转化为,这等价于求解带约束的优化问题
1700534935
1700534936
1700534937
1700534938
1700534939
(4.15)
1700534940
1700534941
1700534942
如果我们对W中的d个基依次求解,就会发现和最大方差理论的方法完全等价。比如当d=1时,我们实际求解的问题是
1700534943
1700534944
1700534945
1700534946
1700534947
(4.16)
1700534948
1700534949
1700534950
最佳直线ω与最大方差法求解的最佳投影方向一致,即协方差矩阵的最大特征值所对应的特征向量,差别仅是协方差矩阵Σ的一个倍数,以及常数偏差,但这并不影响我们对最大值的优化。
1700534951
1700534952
·总结与扩展·
1700534953
1700534954
至此,我们从最小平方误差的角度解释了PCA的原理、目标函数和求解方法。不难发现,这与最大方差角度殊途同归,从不同的目标函数出发,得到了相同的求解方法。
1700534955
1700534956
1700534957
1700534958
[
上一页 ]
[ :1.700534909e+09 ]
[
下一页 ]