1700536027
（6.21）
1700536028
1700536029
常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA等。基于前面的问题解答，我们知道朴素贝叶斯、贝叶斯网络、pLSA、LDA等模型都是先对联合概率分布进行建模，然后再通过计算边缘分布得到对变量的预测，所以它们都属于生成式模型；而最大熵模型是直接对条件概率分布进行建模，因此属于判别式模型。隐马尔可夫模型和条件随机场模型是对序列数据进行建模的方法，将在后面的章节中详细介绍，其中隐马尔可夫模型属于生成式模型，条件随机场属于判别式模型。
1700536030
1700536031
1700536032
1700536033
1700536034
百面机器学习：算法工程师带你去面试 [:1700532201]
1700536035
百面机器学习：算法工程师带你去面试 04 马尔可夫模型
1700536036
1700536037
1700536038
1700536039
场景描述
1700536040
1700536041
在介绍隐马尔可夫模型之前，先简单了解马尔可夫过程。马尔可夫过程是满足无后效性的随机过程。假设一个随机过程中，tn时刻的状态xn的条件分布，仅仅与其前一个状态xn−1有关，即P(xn|x1,x2…xn−1)=P(xn|xn−1)，则将其称为马尔可夫过程，时间和状态的取值都是离散的马尔可夫过程也称为马尔可夫链，如图6.4所示。
1700536042
1700536043
1700536044
1700536045
1700536046
图6.4 马尔可夫链
1700536047
1700536048
隐马尔可夫模型是对含有未知参数（隐状态）的马尔可夫链进行建模的生成模型，概率图模型如图6.5所示。在简单的马尔可夫模型中，所有状态对于观测者都是可见的，因此在马尔可夫模型中仅仅包括状态间的转移概率。而在隐马尔可夫模型中，隐状态xi对于观测者而言是不可见的，观测者能观测到的只有每个隐状态xi对应的输出yi，而观测状态yi的概率分布仅仅取决于对应的隐状态xi。在隐马尔可夫模型中，参数包括了隐状态间的转移概率、隐状态到观测状态的输出概率、隐状态x的取值空间、观测状态y的取值空间以及初始状态的概率分布。
1700536049
1700536050
1700536051
1700536052
1700536053
图6.5 隐马尔可夫模型
1700536054
1700536055
知识点
1700536056
1700536057
马尔可夫模型，隐马尔可夫模型
1700536058
1700536059
问题1 如何对中文分词问题用隐马尔可夫模型进行建模和训练？
1700536060
1700536061
难度：★★★☆☆
1700536062
1700536063
分析与解答
1700536064
1700536065
下面用一个简单的例子来说明隐马尔可夫模型的建模过程。
1700536066
1700536067
假设有3个不同的葫芦，每个葫芦里有好药和坏药若干，现在从3个葫芦中按以下规则倒出药来。
1700536068
1700536069
（1）随机挑选一个葫芦。
1700536070
1700536071
（2）从葫芦里倒出一颗药，记录是好药还是坏药后将药放回。
1700536072
1700536073
（3）从当前葫芦依照一定的概率转移到下一个葫芦。
1700536074
1700536075
（4）重复步骤（2）和（3）。
1700536076