1700535468
百面机器学习:算法工程师带你去面试 02 高斯混合模型
1700535469
1700535470
1700535471
1700535472
场景描述
1700535473
1700535474
高斯混合模型(Gaussian Mixed Model,GMM)也是一种常见的聚类算法,与K均值算法类似,同样使用了EM算法进行迭代计算。高斯混合模型假设每个簇的数据都是符合高斯分布(又叫正态分布)的,当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果。
1700535475
1700535476
图5.6是一个数据分布的样例,如果只用一个高斯分布来拟合图中的数据,图中所示的椭圆即为高斯分布的二倍标准差所对应的椭圆。直观来说,图中的数据明显分为两簇,因此只用一个高斯分布来拟和是不太合理的,需要推广到用多个高斯分布的叠加来对数据进行拟合。图5.7是用两个高斯分布的叠加来拟合得到的结果。这就引出了高斯混合模型,即用多个高斯分布函数的线形组合来对数据分布进行拟合。理论上,高斯混合模型可以拟合出任意类型的分布。
1700535477
1700535478
1700535479
1700535480
1700535481
图5.6 高斯混合模型样例(用一个混合分量来拟合)
1700535482
1700535483
1700535484
1700535485
1700535486
图5.7 高斯混合模型样例(用两个混合分量来拟合)
1700535487
1700535488
知识点
1700535489
1700535490
高斯分布,高斯混合模型,EM算法
1700535491
1700535492
问题 高斯混合模型的核心思想是什么?它是如何迭代计算的?
1700535493
1700535494
难度:★★☆☆☆
1700535495
1700535496
分析与解答
1700535497
1700535498
说起高斯分布,大家都不陌生,通常身高、分数等都大致符合高斯分布。因此,当我们研究各类数据时,假设同一类的数据符合高斯分布,也是很简单自然的假设;当数据事实上有多个类,或者我们希望将数据划分为一些簇时,可以假设不同簇中的样本各自服从不同的高斯分布,由此得到的聚类算法称为高斯混合模型。
1700535499
1700535500
高斯混合模型的核心思想是,假设数据可以看作从多个高斯分布中生成出来的。在该假设下,每个单独的分模型都是标准高斯模型,其均值μi和方差Σi是待估计的参数。此外,每个分模型都还有一个参数πi,可以理解为权重或生成数据的概率。高斯混合模型的公式为
1700535501
1700535502
1700535503
.
1700535504
1700535505
(5.14)
1700535506
1700535507
高斯混合模型是一个生成式模型。可以这样理解数据的生成过程,假设一个最简单的情况,即只有两个一维标准高斯分布的分模型N(0,1)和N(5,1),其权重分别为0.7和0.3。那么,在生成第一个数据点时,先按照权重的比例,随机选择一个分布,比如选择第一个高斯分布,接着从N(0,1)中生成一个点,如−0.5,便是第一个数据点。在生成第二个数据点时,随机选择到第二个高斯分布N(5,1),生成了第二个点4.7。如此循环执行,便生成出了所有的数据点。
1700535508
1700535509
然而,通常我们并不能直接得到高斯混合模型的参数,而是观察到了一系列数据点,给出一个类别的数量K后,希望求得最佳的K个高斯分模型。因此,高斯混合模型的计算,便成了最佳的均值μ,方差Σ、权重π的寻找,这类问题通常通过最大似然估计来求解。遗憾的是,此问题中直接使用最大似然估计,得到的是一个复杂的非凸函数,目标函数是和的对数,难以展开和对其求偏导。
1700535510
1700535511
在这种情况下,可以用上一节已经介绍过的EM算法框架来求解该优化问题。EM算法是在最大化目标函数时,先固定一个变量使整体函数变为凸优化函数,求导得到最值,然后利用最优参数更新被固定的变量,进入下一个循环。具体到高斯混合模型的求解,EM算法的迭代过程如下。
1700535512
1700535513
首先,初始随机选择各参数的值。然后,重复下述两步,直到收敛。
1700535514
1700535515
(1)E步骤。根据当前的参数,计算每个点由某个分模型生成的概率。
1700535516
[
上一页 ]
[ :1.700535467e+09 ]
[
下一页 ]