1700535068
（4.24）
1700535069
1700535070
于是得出，
1700535071
1700535072
1700535073
1700535074
1700535075
（4.25）
1700535076
1700535077
1700535078
由于在简化的二分类问题中ωTSwω和ωTSBω是两个数，我们令 ，于是可以把式（4.25）写成如下形式：
1700535079
1700535080
1700535081
（4.26）
1700535082
1700535083
整理得，
1700535084
1700535085
1700535086
1700535087
1700535088
（4.27）
1700535089
1700535090
从这里我们可以看出，我们最大化的目标对应了一个矩阵的特征值，于是LDA降维变成了一个求矩阵特征向量的问题。J(ω)就对应了矩阵 Sw−1SB最大的特征值，而投影方向就是这个特征值对应的特征向量。
1700535091
1700535092
1700535093
1700535094
对于二分类这一问题，由于SB，因此SBω的方向始终与（μ1−μ2）一致，如果只考虑ω的方向，不考虑其长度，可以得到ω = Sw−1。换句话说，我们只需要求样本的均值和类内方差，就可以马上得出最佳的投影方向ω。这便是Fisher在1936年提出的线性判别分析。
1700535095
1700535096
·总结与扩展·
1700535097
1700535098
至此，我们从最大化类间距离、最小化类内距离的思想出发，推导出了LDA的优化目标以及求解方法。Fisher LDA相比PCA更善于对有类别信息的数据进行降维处理，但它对数据的分布做了一些很强的假设，例如，每个类数据都是高斯分布、各个类的协方差相等。尽管这些假设在实际中并不一定完全满足，但LDA已被证明是非常有效的一种降维方法。主要是因为线性模型对于噪声的鲁棒性比较好，但由于模型简单，表达能力有一定局限性，我们可以通过引入核函数扩展LDA方法以处理分布较为复杂的数据。
1700535099
1700535100
1700535101
1700535102
1700535103
百面机器学习：算法工程师带你去面试 [:1700532191]
1700535104
百面机器学习：算法工程师带你去面试 04 线性判别分析与主成分分析
1700535105
1700535106
1700535107
1700535108
场景描述
1700535109
1700535110
同样作为线性降维方法，PCA是有监督的降维算法，而LDA是无监督的降维算法。虽然在原理或应用方面二者有一定的区别，但是从这两种方法的数学本质出发，我们不难发现二者有很多共通的特性。
1700535111
1700535112
知识点
1700535113
1700535114
线性代数，PCA，LDA
1700535115
1700535116
问题 LDA和PCA作为经典的降维算法，如何从应用的角度分析其原理的异同？从数学推导的角度，两种降维算法在目标函数上有何区别与联系？
1700535117