1700536127
1700536128
1700536129
1700536130
其中为所有特征的线性叠加。
1700536131
1700536132
最大熵马尔可夫模型存在标注偏置问题，如图6.7所示。可以发现，状态1倾向于转移到状态2，状态2倾向于转移到状态2本身。但是实际计算得到的最大概率路径是1->1->1->1，状态1并没有转移到状态2，如图6.8所示。这是因为，从状态2转移出去可能的状态包括1、2、3、4、5，概率在可能的状态上分散了，而状态1转移出去的可能状态仅仅为状态1和2，概率更加集中。由于局部归一化的影响，隐状态会倾向于转移到那些后续状态可能更少的状态上，以提高整体的后验概率。这就是标注偏置问题。
1700536133
1700536134
1700536135
1700536136
1700536137
图6.7 最大熵马尔可夫模型示例
1700536138
1700536139
1700536140
1700536141
1700536142
图6.8 标注偏置
1700536143
1700536144
条件随机场（Conditional Random Field，CRF）在最大熵马尔可夫模型的基础上，进行了全局归一化，如图6.9所示。
1700536145
1700536146
1700536147
1700536148
1700536149
图6.9 条件随机场
1700536150
1700536151
条件随机场建模如下
1700536152
1700536153
1700536154
，
1700536155
1700536156
（6.25）
1700536157
1700536158
其中归一化因子Z(y1…n)是在全局范围进行归一化，枚举了整个隐状态序列x1…n的全部可能，从而解决了局部归一化带来的标注偏置问题。
1700536159
1700536160
逸闻趣事
1700536161
1700536162
1700536163
1700536164
贝叶斯理论与“上帝的存在”
1700536165
1700536166
提起贝叶斯学派和频率学派贯穿一个世纪的辩论，统计和机器学习背景的同学不可谓不熟悉，但如果追根溯源，讲起贝叶斯“开宗立派”的初衷，确实还是一个很有意思的故事。因为贝叶斯提出贝叶斯理论，最初竟是为了证明“上帝的存在”。
1700536167
1700536168
生活在18世纪的贝叶斯本职工作是一位英格兰长老会的牧师，1763年，贝叶斯发表论文《论有关机遇问题的求解》，奠定了贝叶斯统计理论的基础。在这篇文章中，贝叶斯提出了解决框架，就是用不断增加的信息和经验，可以逐步逼近未知的真相或理解未知，并给出了算法。但贝叶斯关注的原始问题的表述是这样的，人能不能根据凡人世界的经验和现实世界的证据来证明上帝的存在。因为宗教人士的逻辑就是基于上帝存在的主要证据，能够认识机遇的规律，几乎等同于证明上帝的存在。
1700536169
1700536170
其实17世纪—18世纪，大量数学家、物理学家、哲学家的研究都与神学有千丝万缕的联系。1687年，艾萨克·牛顿惊世骇俗的著作《自然哲学的数学原理》一书出版，文中牛顿也花了大量的篇幅总结写这本书的原因，那就是为了找寻到上帝是如何构建世界的真相，或者说上帝是基于哪几个法则来构建世界的。牛顿是个虔诚的新教徒，很多人被一些观点迷惑了，认为牛顿是晚年才相信上帝的，这是错的。牛顿是自幼就信封上帝。他在这本书里尽可能用古典几何学的办法来描述微积分。由此看出，古希腊数学家用数学探索世界，而牛顿是打算像古希腊数学家那样，用数学来探索上帝。
1700536171
1700536172
但殊途同归，不管初衷是怎样，贝叶斯和牛顿最终都为所在的领域甚至全人类的发展做出了杰出的贡献。而人类对于“上帝”的认识也更趋理性和全面。
1700536173
1700536174
1700536175
1700536176