1700535946
1700535947
最大熵模型就是要学习到合适的分布P(y|x)，使得条件熵H(P)的取值最大。在对训练数据集一无所知的情况下，最大熵模型认为P(y|x)是符合均匀分布的。那么当我们有了训练数据集之后呢？我们希望从中找到一些规律，从而消除一些不确定性，这时就需要用到特征函数f(x,y)。特征函数f描述了输入x和输出y之间的一个规律，例如当x=y时，f(x,y)等于一个比较大的正数。为了使学习到的模型P(y|x)能够正确捕捉训练数据集中的这一规律（特征），我们加入一个约束，使得特征函数f(x,y)关于经验分布(x,y)的期望值与关于模型P(y|x)和经验分布(x)的期望值相等，即
1700535948
1700535949
1700535950
，
1700535951
1700535952
（6.15）
1700535953
1700535954
1700535955
其中，特征函数f(x,y)关于经验分布(x,y)的期望值计算公式为
1700535956
1700535957
1700535958
．
1700535959
1700535960
（6.16）
1700535961
1700535962
1700535963
f(x,y)关于模型P(y|x)和经验分布(x)的期望值计算公式为
1700535964
1700535965
1700535966
．
1700535967
1700535968
（6.17）
1700535969
1700535970
1700535971
1700535972
综上，给定训练数据集，以及M个特征函数，最大熵模型的学习等价于约束最优化问题：
1700535973
1700535974
1700535975
1700535976
1700535977
（6.18）
1700535978
1700535979
求解之后可以得到最大熵模型的表达形式为
1700535980
1700535981
1700535982
．
1700535983
1700535984
（6.19）
1700535985
1700535986
最终，最大熵模型归结为学习最佳的参数w，使得Pw(y|x)最大化。从概率图模型的角度理解，我们可以看到Pw(y|x)的表达形式非常类似于势函数为指数函数的马尔可夫网络，其中变量x和y构成了一个最大团，如图6.3所示。
1700535987
1700535988
1700535989
1700535990
1700535991
图6.3 最大熵模型的概率图模型
1700535992
1700535993
1700535994
1700535995