打字猴:1.700537525e+09
1700537525
1700537526
1700537527
1700537528
1700537529
1700537530
1700537531 根据参考条件分布抽取一个样本x*; 根据均匀分布U(0,1)产生随机数u; 若,则令,否则令。 可以证明,上述过程得到的样本序列最终会收敛到目标分布p(x)。图8.6(a)是Metropolis-Hastings算法采样过程的一个示意图,其中红线表示被拒绝的移动(维持旧样本),绿线表示被接受的移动(采纳新样本)。
1700537532
1700537533 ■ 吉布斯采样法
1700537534
1700537535
1700537536 吉布斯采样法是Metropolis-Hastings算法的一个特例,其核心思想是每次只对样本的一个维度进行采样和更新。对于目标分布p(x),其中是多维向量,按如下过程进行采样:
1700537537
1700537538
1700537539 (1)随机选择初始状态。
1700537540
1700537541 (2)For t = 1, 2, 3, … :
1700537542
1700537543  
1700537544
1700537545
1700537546
1700537547
1700537548
1700537549
1700537550
1700537551 对于前一步产生的样本,依次采样和更新每个维度的值,即依次抽取分量,, …, ;
1700537552
1700537553
1700537554 形成新的样本。
1700537555
1700537556
1700537557 同样可以证明,上述过程得到的样本序列会收敛到目标分布p(x)。另外,步骤(2)中对样本每个维度的抽样和更新操作,不是必须按下标顺序进行的,可以是随机顺序。
1700537558
1700537559 在拒绝采样中,如果在某一步中采样被拒绝,则该步不会产生新样本,需要重新进行采样。与此不同,MCMC采样法每一步都会产生一个样本,只是有时候这个样本与之前的样本一样而已。另外,MCMC采样法是在不断迭代过程中逐渐收敛到平稳分布的,因此实际应用中一般会对得到的样本序列进行“burn-in”处理,即截除掉序列中最开始的一部分样本,只保留后面的样本。
1700537560
1700537561 问题3 MCMC采样法如何得到相互独立的样本?
1700537562
1700537563 难度:★★☆☆☆
1700537564
1700537565 分析与解答
1700537566
1700537567 与一般的蒙特卡洛算法不同,MCMC采样法得到的样本序列中相邻的样本不是独立的,因为后一个样本是由前一个样本根据特定的转移概率得到的,或者有一定概率就是前一个样本。如果仅仅是采样,并不需要样本之间相互独立。如果确实需要产生独立同分布的样本,可以同时运行多条马尔可夫链,这样不同链上的样本是独立的;或者在同一条马尔可夫链上每隔若干个样本才选取一个,这样选取出来的样本也是近似独立的。
1700537568
1700537569 ·总结与扩展·
1700537570
1700537571 MCMC采样法应用十分广泛,比如可以思考如何用MCMC采样法来求一个分布的众数?MCMC采样法在最大似然估计或贝叶斯推理中是如何使用的?
1700537572
1700537573 逸闻趣事 
1700537574
[ 上一页 ]  [ :1.700537525e+09 ]  [ 下一页 ]