1700535467
百面机器学习：算法工程师带你去面试 [:1700532194]
1700535468
百面机器学习：算法工程师带你去面试 02 高斯混合模型
1700535469
1700535470
1700535471
1700535472
场景描述
1700535473
1700535474
高斯混合模型（Gaussian Mixed Model，GMM）也是一种常见的聚类算法，与K均值算法类似，同样使用了EM算法进行迭代计算。高斯混合模型假设每个簇的数据都是符合高斯分布（又叫正态分布）的，当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果。
1700535475
1700535476
图5.6是一个数据分布的样例，如果只用一个高斯分布来拟合图中的数据，图中所示的椭圆即为高斯分布的二倍标准差所对应的椭圆。直观来说，图中的数据明显分为两簇，因此只用一个高斯分布来拟和是不太合理的，需要推广到用多个高斯分布的叠加来对数据进行拟合。图5.7是用两个高斯分布的叠加来拟合得到的结果。这就引出了高斯混合模型，即用多个高斯分布函数的线形组合来对数据分布进行拟合。理论上，高斯混合模型可以拟合出任意类型的分布。
1700535477
1700535478
1700535479
1700535480
1700535481
图5.6 高斯混合模型样例（用一个混合分量来拟合）
1700535482
1700535483
1700535484
1700535485
1700535486
图5.7 高斯混合模型样例（用两个混合分量来拟合）
1700535487
1700535488
知识点
1700535489
1700535490
高斯分布，高斯混合模型，EM算法
1700535491
1700535492
问题 高斯混合模型的核心思想是什么？它是如何迭代计算的？
1700535493
1700535494
难度：★★☆☆☆
1700535495
1700535496
分析与解答
1700535497
1700535498
说起高斯分布，大家都不陌生，通常身高、分数等都大致符合高斯分布。因此，当我们研究各类数据时，假设同一类的数据符合高斯分布，也是很简单自然的假设；当数据事实上有多个类，或者我们希望将数据划分为一些簇时，可以假设不同簇中的样本各自服从不同的高斯分布，由此得到的聚类算法称为高斯混合模型。
1700535499
1700535500
高斯混合模型的核心思想是，假设数据可以看作从多个高斯分布中生成出来的。在该假设下，每个单独的分模型都是标准高斯模型，其均值μi和方差Σi是待估计的参数。此外，每个分模型都还有一个参数πi，可以理解为权重或生成数据的概率。高斯混合模型的公式为
1700535501
1700535502
1700535503
．
1700535504
1700535505
（5.14）
1700535506
1700535507
高斯混合模型是一个生成式模型。可以这样理解数据的生成过程，假设一个最简单的情况，即只有两个一维标准高斯分布的分模型N(0,1)和N(5,1)，其权重分别为0.7和0.3。那么，在生成第一个数据点时，先按照权重的比例，随机选择一个分布，比如选择第一个高斯分布，接着从N(0,1)中生成一个点，如−0.5，便是第一个数据点。在生成第二个数据点时，随机选择到第二个高斯分布N(5,1)，生成了第二个点4.7。如此循环执行，便生成出了所有的数据点。
1700535508
1700535509
然而，通常我们并不能直接得到高斯混合模型的参数，而是观察到了一系列数据点，给出一个类别的数量K后，希望求得最佳的K个高斯分模型。因此，高斯混合模型的计算，便成了最佳的均值μ，方差Σ、权重π的寻找，这类问题通常通过最大似然估计来求解。遗憾的是，此问题中直接使用最大似然估计，得到的是一个复杂的非凸函数，目标函数是和的对数，难以展开和对其求偏导。
1700535510
1700535511
在这种情况下，可以用上一节已经介绍过的EM算法框架来求解该优化问题。EM算法是在最大化目标函数时，先固定一个变量使整体函数变为凸优化函数，求导得到最值，然后利用最优参数更新被固定的变量，进入下一个循环。具体到高斯混合模型的求解，EM算法的迭代过程如下。
1700535512
1700535513
首先，初始随机选择各参数的值。然后，重复下述两步，直到收敛。
1700535514
1700535515
（1）E步骤。根据当前的参数，计算每个点由某个分模型生成的概率。
1700535516