1700535408
1700535409
由上面的推导,EM算法框架可以总结如下,由以下两个步骤交替进行直到收敛。
1700535410
1700535411
(1)E步骤:计算隐变量的期望
1700535412
1700535413
1700535414
.
1700535415
1700535416
(5.8)
1700535417
1700535418
(2)M步骤:最大化
1700535419
1700535420
1700535421
.
1700535422
1700535423
(5.9)
1700535424
1700535425
剩下的事情就是说明K均值算法与EM算法的关系了。K均值算法等价于用EM算法求解以下含隐变量的最大似然问题:
1700535426
1700535427
1700535428
1700535429
1700535430
(5.10)
1700535431
1700535432
1700535433
1700535434
其中是模型的隐变量。直观地理解,就是当样本x离第k个簇的中心点μk距离最近时,概率正比于,否则为0。
1700535435
1700535436
在E步骤,计算
1700535437
1700535438
1700535439
1700535440
1700535441
(5.11)
1700535442
1700535443
这等同于在K均值算法中对于每一个点x(i)找到当前最近的簇z(i)。
1700535444
1700535445
1700535446
在M步骤,找到最优的参数,使得似然函数最大:
1700535447
1700535448
1700535449
.
1700535450
1700535451
(5.12)
1700535452
1700535453
经过推导可得
1700535454
1700535455
1700535456
.
1700535457
[
上一页 ]
[ :1.700535408e+09 ]
[
下一页 ]