隐马尔可夫模型 刘秉权.doc

隐马尔可夫模型_刘秉权.doc隐马尔可夫模型
刘秉权
哈工大智能技术与自然语言处理研究室
2006年11月
隐马尔可夫模型 3
主要内容
■马尔可夫模型
■隐马尔可夫模型
■隐马尔可夫模型的三个基本问题
■隐马尔可夫模型的基本算法
隐马尔可夫模型 4
■隐马尔可夫模型的应用
一个系统有N个状态久忌,…,随着时间推移，系统从 某一状态转移到另一状态，设也为时间（的状态，系统在时间T处 于状态Sj的概率取决于其在时间1,2,…,t -1的状态，该概率为:
p（qt =sj ■Qu =si，qt-2 二Sk，…）
如果系统在t时间的状态只与其在时间t-1的状态相关，则该 系统构成一个离散的一阶马尔可夫链（马尔可夫过程）：
隐马尔可夫模型 5
P（4t = Sj 丨 q^i = Sj，q「2 = Sw） = P@ = Sj 丨 = SJ
马尔可夫模型(Markov Model)
如果只考虑独立于时间t的随机过程：
P(q(二Sjq厂SJjjlGJSN
其中状态转移概率必须满足no且
N
隐马尔可夫模型 6
工％j=l,则该随机过程称为马尔可夫模型。 j=l ,
隐马尔可夫模型 7
马尔可夫模型可视为随机有限状态自动机
■该有限状 态自动机 的每一个 状态转换 都有一相 应概率， 表示白动 机采用这 一获态转 换的可能
隐马尔可夫模型 8
假定一段时间内的气象可由一三状态
马尔可夫模型M描述：S「雨，S2 :多云,
53：晴，转移概率矩阵为：



A 二 \-aij ]—






隐马尔可夫模型 9
例（续）
如果第一天为晴天，根据这一模型，在今后七天中天气为
0 ｛晴晴雨雨晴云晴”的概率为：
F(OIM) =P(S3，S3，S3，S1，S],S3，S2，S3 I M)
= P(S3)・P(S3 IS3)・P(S3 IS3)・P(S] IS3)・P(S| ISJ・
HS3 IS])・F(S2 I53)-P(S3 I52)
=(0・8)(0・8)(0・ 1)()()()()
= ()7
隐马尔可夫模型 11
隐马尔可夫模型
(Hidden Markov Model, HMM)
■在MM中，每一个状态代表一个可观察的 事件
■在HMM中观察到的事件是状态的随机函 数，因此该模型是一双重随机过程，其 中状态转移过程是不可观察（隐蔽）的 （马尔可夫链），而可观察的事件的随机过 程是隐蔽的状态转换过程的随机函数（一