1700537646
1700537647
因此，在实际应用中，可以参考重要性采样的思想，不再对观测变量进行采样，只对非观测变量采样，但是最终得到的样本需要赋一个重要性权值：
1700537648
1700537649
1700537650
1700537651
1700537652
（8.21）
1700537653
1700537654
其中E是观测变量集合。这种采样方法称作似然加权采样（Likelihood Weighted Sampling），产生的样本权值可以用于后续的积分操作。在有观测变量（Sprikler=T，WetGrass=T）时，可以先对Cloudy进行采样，然后对Rain进行采样，不再对Sprinkler和WetGrass采样（直接赋观测值），如图8.12所示。这样得到的样本的重要性权值为
1700537655
1700537656
w∝p(Sprinkler=T|Cloudy=T)·p(WetGrass=T|Sprinkler=T，Rain=T)=0.1×0.99=0.099.
1700537657
1700537658
1700537659
1700537660
1700537661
图8.12 似然加权采样示例图
1700537662
1700537663
除此之外，还可以用MCMC采样法来进行采样。具体来说，如果采用Metropolis-Hastings采样法的话，如图8.13所示，只需要在随机向量（Cloudy, Rain）上选择一个概率转移矩阵，然后按照概率转移矩阵不断进行状态转换，每次转移有一定概率的接受或拒绝，最终得到的样本序列会收敛到目标分布。最简单的概率转移矩阵可以是：每次独立地随机选择（Cloudy, Rain）的四种状态之一。如果采用吉布斯采样法的话，根据条件概率p(Cloudy|Rain, Sprinkler, WetGrass)和p(Rain|Cloudy, Sprinkler, WetGrass)，每次只对（Cloudy, Rain）中的一个变量进行采样，交替进行即可。
1700537664
1700537665
1700537666
1700537667
1700537668
图8.13 用Metropolis-Hastings采样法对贝叶斯网络进行采样
1700537669
1700537670
·总结与扩展·
1700537671
1700537672
本节还有一些相关的扩展问题，例如，如果是连续型随机变量，或者是无向图模型（即马尔可夫随机场，Markov Random Field），上述方法有哪些不适用，哪些仍然适用？具体该如何采样？
1700537673
1700537674
1700537675
1700537676
1700537677
百面机器学习：算法工程师带你去面试 [:1700532218]
1700537678
百面机器学习：算法工程师带你去面试 07 不均衡样本集的重采样
1700537679
1700537680
1700537681
1700537682
场景描述
1700537683
1700537684
在训练二分类模型时，例如医疗诊断、网络入侵检测、信用卡反诈骗等，经常会遇到正负样本不均衡的问题。对于很多分类算法，如果直接采用不均衡的样本集来进行训练学习，会存在一些问题。例如，如果正负样本比例达到1∶99，则分类器简单地将所有样本都判为负样本就能达到99%的正确率，显然这并不是我们想要的，我们想让分类器在正样本和负样本上都有足够的准确率和召回率。
1700537685
1700537686
知识点
1700537687
1700537688
采样，数据扩充
1700537689
1700537690
问题 对于二分类问题，当训练集中正负样本非常不均衡时，如何处理数据以更好地训练分类模型？
1700537691
1700537692
难度：★★★☆☆
1700537693
1700537694
分析与解答
1700537695