1700535996
百面机器学习：算法工程师带你去面试 [:1700532200]
1700535997
百面机器学习：算法工程师带你去面试 03 生成式模型与判别式模型
1700535998
1700535999
1700536000
1700536001
场景描述
1700536002
1700536003
生成式模型和判别式模型的区别是机器学习领域非常重要的基础知识，也是经常用来考察面试者的面试题，但能准确区分开二者并不是一件非常容易的事情，本节希望给读者一个正确的认识。
1700536004
1700536005
知识点
1700536006
1700536007
生成式模型，判别式模型
1700536008
1700536009
问题 常见的概率图模型中，哪些是生成式模型，哪些是判别式模型？
1700536010
1700536011
难度：★★★☆☆
1700536012
1700536013
分析与解答
1700536014
1700536015
要想正确回答这个问题首先要弄清楚生成式模型和判别式模型的区别。假设可观测到的变量集合为X，需要预测的变量集合为Y，其他的变量集合为Z。生成式模型是对联合概率分布P(X,Y,Z)进行建模，在给定观测集合X的条件下，通过计算边缘分布来得到对变量集合Y的推断，即
1700536016
1700536017
1700536018
．
1700536019
1700536020
（6.20）
1700536021
1700536022
判别式模型是直接对条件概率分布P(Y,Z|X)进行建模，然后消掉无关变量Z就可以得到对变量集合Y的预测，即
1700536023
1700536024
1700536025
．
1700536026
1700536027
（6.21）
1700536028
1700536029
常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA等。基于前面的问题解答，我们知道朴素贝叶斯、贝叶斯网络、pLSA、LDA等模型都是先对联合概率分布进行建模，然后再通过计算边缘分布得到对变量的预测，所以它们都属于生成式模型；而最大熵模型是直接对条件概率分布进行建模，因此属于判别式模型。隐马尔可夫模型和条件随机场模型是对序列数据进行建模的方法，将在后面的章节中详细介绍，其中隐马尔可夫模型属于生成式模型，条件随机场属于判别式模型。
1700536030
1700536031
1700536032
1700536033
1700536034
百面机器学习：算法工程师带你去面试 [:1700532201]
1700536035
百面机器学习：算法工程师带你去面试 04 马尔可夫模型
1700536036
1700536037
1700536038
1700536039
场景描述
1700536040
1700536041
在介绍隐马尔可夫模型之前，先简单了解马尔可夫过程。马尔可夫过程是满足无后效性的随机过程。假设一个随机过程中，tn时刻的状态xn的条件分布，仅仅与其前一个状态xn−1有关，即P(xn|x1,x2…xn−1)=P(xn|xn−1)，则将其称为马尔可夫过程，时间和状态的取值都是离散的马尔可夫过程也称为马尔可夫链，如图6.4所示。
1700536042
1700536043
1700536044
1700536045