1700536101
1700536102
1700536103
1700536104
图6.6 最大熵马尔可夫模型
1700536105
1700536106
最大熵马尔可夫模型建模如下
1700536107
1700536108
1700536109
，
1700536110
1700536111
（6.22）
1700536112
1700536113
1700536114
其中会在局部进行归一化，即枚举xi的全部取值进行求和之后计算概率，计算公式为
1700536115
1700536116
1700536117
，
1700536118
1700536119
（6.23）
1700536120
1700536121
其中Z为归一化因子
1700536122
1700536123
1700536124
，
1700536125
1700536126
（6.24）
1700536127
1700536128
1700536129
1700536130
其中为所有特征的线性叠加。
1700536131
1700536132
最大熵马尔可夫模型存在标注偏置问题，如图6.7所示。可以发现，状态1倾向于转移到状态2，状态2倾向于转移到状态2本身。但是实际计算得到的最大概率路径是1->1->1->1，状态1并没有转移到状态2，如图6.8所示。这是因为，从状态2转移出去可能的状态包括1、2、3、4、5，概率在可能的状态上分散了，而状态1转移出去的可能状态仅仅为状态1和2，概率更加集中。由于局部归一化的影响，隐状态会倾向于转移到那些后续状态可能更少的状态上，以提高整体的后验概率。这就是标注偏置问题。
1700536133
1700536134
1700536135
1700536136
1700536137
图6.7 最大熵马尔可夫模型示例
1700536138
1700536139
1700536140
1700536141
1700536142
图6.8 标注偏置
1700536143
1700536144
条件随机场（Conditional Random Field，CRF）在最大熵马尔可夫模型的基础上，进行了全局归一化，如图6.9所示。
1700536145
1700536146
1700536147
1700536148
1700536149
图6.9 条件随机场
1700536150