1700537650
1700537651
1700537652
（8.21）
1700537653
1700537654
其中E是观测变量集合。这种采样方法称作似然加权采样（Likelihood Weighted Sampling），产生的样本权值可以用于后续的积分操作。在有观测变量（Sprikler=T，WetGrass=T）时，可以先对Cloudy进行采样，然后对Rain进行采样，不再对Sprinkler和WetGrass采样（直接赋观测值），如图8.12所示。这样得到的样本的重要性权值为
1700537655
1700537656
w∝p(Sprinkler=T|Cloudy=T)·p(WetGrass=T|Sprinkler=T，Rain=T)=0.1×0.99=0.099.
1700537657
1700537658
1700537659
1700537660
1700537661
图8.12 似然加权采样示例图
1700537662
1700537663
除此之外，还可以用MCMC采样法来进行采样。具体来说，如果采用Metropolis-Hastings采样法的话，如图8.13所示，只需要在随机向量（Cloudy, Rain）上选择一个概率转移矩阵，然后按照概率转移矩阵不断进行状态转换，每次转移有一定概率的接受或拒绝，最终得到的样本序列会收敛到目标分布。最简单的概率转移矩阵可以是：每次独立地随机选择（Cloudy, Rain）的四种状态之一。如果采用吉布斯采样法的话，根据条件概率p(Cloudy|Rain, Sprinkler, WetGrass)和p(Rain|Cloudy, Sprinkler, WetGrass)，每次只对（Cloudy, Rain）中的一个变量进行采样，交替进行即可。
1700537664
1700537665
1700537666
1700537667
1700537668
图8.13 用Metropolis-Hastings采样法对贝叶斯网络进行采样
1700537669
1700537670
·总结与扩展·
1700537671
1700537672
本节还有一些相关的扩展问题，例如，如果是连续型随机变量，或者是无向图模型（即马尔可夫随机场，Markov Random Field），上述方法有哪些不适用，哪些仍然适用？具体该如何采样？
1700537673
1700537674
1700537675
1700537676
1700537677
百面机器学习：算法工程师带你去面试 [:1700532218]
1700537678
百面机器学习：算法工程师带你去面试 07 不均衡样本集的重采样
1700537679
1700537680
1700537681
1700537682
场景描述
1700537683
1700537684
在训练二分类模型时，例如医疗诊断、网络入侵检测、信用卡反诈骗等，经常会遇到正负样本不均衡的问题。对于很多分类算法，如果直接采用不均衡的样本集来进行训练学习，会存在一些问题。例如，如果正负样本比例达到1∶99，则分类器简单地将所有样本都判为负样本就能达到99%的正确率，显然这并不是我们想要的，我们想让分类器在正样本和负样本上都有足够的准确率和召回率。
1700537685
1700537686
知识点
1700537687
1700537688
采样，数据扩充
1700537689
1700537690
问题 对于二分类问题，当训练集中正负样本非常不均衡时，如何处理数据以更好地训练分类模型？
1700537691
1700537692
难度：★★★☆☆
1700537693
1700537694
分析与解答
1700537695
1700537696
为什么很多分类模型在训练数据不均衡时会出现问题？本质原因是模型在训练时优化的目标函数和人们在测试时使用的评价标准不一致。这种“不一致”可能是由于训练数据的样本分布与测试时期望的样本分布不一致，例如，在训练时优化的是整个训练集（正负样本比例可能是1∶99）的正确率，而测试时可能想要模型在正样本和负样本上的平均正确率尽可能大（实际上是期望正负样本比例为1∶1）；也可能是由于训练阶段不同类别的权重（重要性）与测试阶段不一致，例如训练时认为所有样本的贡献是相等的，而测试时假阳性样本（False Positive）和伪阴性样本（False Negative）有着不同的代价。
1700537697
1700537698
根据上述分析，一般可以从两个角度来处理样本不均衡问题[17]。
1700537699