1700535977
（6.18）
1700535978
1700535979
求解之后可以得到最大熵模型的表达形式为
1700535980
1700535981
1700535982
．
1700535983
1700535984
（6.19）
1700535985
1700535986
最终，最大熵模型归结为学习最佳的参数w，使得Pw(y|x)最大化。从概率图模型的角度理解，我们可以看到Pw(y|x)的表达形式非常类似于势函数为指数函数的马尔可夫网络，其中变量x和y构成了一个最大团，如图6.3所示。
1700535987
1700535988
1700535989
1700535990
1700535991
图6.3 最大熵模型的概率图模型
1700535992
1700535993
1700535994
1700535995
1700535996
百面机器学习：算法工程师带你去面试 [:1700532200]
1700535997
百面机器学习：算法工程师带你去面试 03 生成式模型与判别式模型
1700535998
1700535999
1700536000
1700536001
场景描述
1700536002
1700536003
生成式模型和判别式模型的区别是机器学习领域非常重要的基础知识，也是经常用来考察面试者的面试题，但能准确区分开二者并不是一件非常容易的事情，本节希望给读者一个正确的认识。
1700536004
1700536005
知识点
1700536006
1700536007
生成式模型，判别式模型
1700536008
1700536009
问题 常见的概率图模型中，哪些是生成式模型，哪些是判别式模型？
1700536010
1700536011
难度：★★★☆☆
1700536012
1700536013
分析与解答
1700536014
1700536015
要想正确回答这个问题首先要弄清楚生成式模型和判别式模型的区别。假设可观测到的变量集合为X，需要预测的变量集合为Y，其他的变量集合为Z。生成式模型是对联合概率分布P(X,Y,Z)进行建模，在给定观测集合X的条件下，通过计算边缘分布来得到对变量集合Y的推断，即
1700536016
1700536017
1700536018
．
1700536019
1700536020
（6.20）
1700536021
1700536022
判别式模型是直接对条件概率分布P(Y,Z|X)进行建模，然后消掉无关变量Z就可以得到对变量集合Y的预测，即
1700536023
1700536024
1700536025
．
1700536026