1700534732
但在高维空间中，我们往往不能像刚才这样直观地想象出数据的分布形式，也就更难精确地找到主成分对应的轴是哪些。不妨，我们先从最简单的二维数据来看看PCA究竟是如何工作的，如图4.1所示。
1700534733
1700534734
1700534735
1700534736
1700534737
（a）二维空间中经过中心化的一组数据
1700534738
1700534739
1700534740
1700534741
1700534742
（b）该组数据的主成分
1700534743
1700534744
图4.1 二维空间数据主成分的直观可视化
1700534745
1700534746
图4.1（a）是二维空间中经过中心化的一组数据，我们很容易看出主成分所在的轴（以下称为主轴）的大致方向，即图4.1（b）中黄线所处的轴。因为在黄线所处的轴上，数据分布得更为分散，这也意味着数据在这个方向上方差更大。在信号处理领域，我们认为信号具有较大方差，噪声具有较小方差，信号与噪声之比称为信噪比。信噪比越大意味着数据的质量越好，反之，信噪比越小意味着数据的质量越差。由此我们不难引出PCA的目标，即最大化投影方差，也就是让数据在主轴上投影的方差最大。
1700534747
1700534748
1700534749
1700534750
1700534751
1700534752
1700534753
1700534754
1700534755
对于给定的一组数据点 ，其中所有向量均为列向量，中心化后的表示为=，其中。我们知道，向量内积在几何上表示为第一个向量投影到第二个向量上的长度，因此向量xi在ω（单位方向向量）上的投影坐标可以表示为。所以目标是找到一个投影方向ω，使得在ω上的投影方差尽可能大。易知，投影之后均值为0（因为 ，这也是我们进行中心化的意义），因此投影后的方差可以表示为
1700534756
1700534757
1700534758
1700534759
1700534760
1700534761
1700534762
1700534763
1700534764
．
1700534765
1700534766
（4.1）
1700534767
1700534768
1700534769
仔细一看，其实就是样本协方差矩阵，我们将其写作Σ。另外，由于ω是单位方向向量，即有ωTω=1。因此我们要求解一个最大化问题，可表示为
1700534770
1700534771
1700534772
1700534773
1700534774
（4.2）
1700534775
1700534776
引入拉格朗日乘子，并对ω求导令其等于0，便可以推出Σ ω=λω，此时
1700534777
1700534778
1700534779
．
1700534780
1700534781
（4.3）