1700535053
1700535054
1700535055
1700535056
定义类间散度矩阵，类内散度矩阵。则式（4.22）可以写为
1700535057
1700535058
1700535059
1700535060
1700535061
（4.23）
1700535062
1700535063
我们要最大化J(ω)，只需对ω求偏导，并令导数等于零
1700535064
1700535065
1700535066
1700535067
1700535068
（4.24）
1700535069
1700535070
于是得出，
1700535071
1700535072
1700535073
1700535074
1700535075
（4.25）
1700535076
1700535077
1700535078
由于在简化的二分类问题中ωTSwω和ωTSBω是两个数，我们令 ，于是可以把式（4.25）写成如下形式：
1700535079
1700535080
1700535081
（4.26）
1700535082
1700535083
整理得，
1700535084
1700535085
1700535086
1700535087
1700535088
（4.27）
1700535089
1700535090
从这里我们可以看出，我们最大化的目标对应了一个矩阵的特征值，于是LDA降维变成了一个求矩阵特征向量的问题。J(ω)就对应了矩阵 Sw−1SB最大的特征值，而投影方向就是这个特征值对应的特征向量。
1700535091
1700535092
1700535093
1700535094
对于二分类这一问题，由于SB，因此SBω的方向始终与（μ1−μ2）一致，如果只考虑ω的方向，不考虑其长度，可以得到ω = Sw−1。换句话说，我们只需要求样本的均值和类内方差，就可以马上得出最佳的投影方向ω。这便是Fisher在1936年提出的线性判别分析。
1700535095
1700535096
·总结与扩展·
1700535097
1700535098
至此，我们从最大化类间距离、最小化类内距离的思想出发，推导出了LDA的优化目标以及求解方法。Fisher LDA相比PCA更善于对有类别信息的数据进行降维处理，但它对数据的分布做了一些很强的假设，例如，每个类数据都是高斯分布、各个类的协方差相等。尽管这些假设在实际中并不一定完全满足，但LDA已被证明是非常有效的一种降维方法。主要是因为线性模型对于噪声的鲁棒性比较好，但由于模型简单，表达能力有一定局限性，我们可以通过引入核函数扩展LDA方法以处理分布较为复杂的数据。
1700535099
1700535100
1700535101
1700535102