隐马尔科夫模型2.ppt

隐马尔可夫模型简介刘群2001-6-11X1X2XT…………O1O2OT…………纪贪远氖淮懊牌莫蹭骸音驶危种岔亏地杨源峰茂驰碴泞意甄痔骨腥荔葫肯隐马尔科夫模型2隐马尔科夫模型2假设对于一个随机事件,有一个观察值序列:O1,...,OT该事件隐含着一个状态序列:X1,...,XT假设1:马尔可夫假设(状态构成一阶马尔可夫链)p(Xi|Xi-1…X1)=p(Xi|Xi-1)假设2:不动性假设(状态与具体时间无关)p(Xi+1|Xi)=p(Xj+1|Xj),对任意i,j成立假设3:输出独立性假设(输出仅与当前状态有关)p(O1,...,OT|X1,...,XT)=Πp(Ot|Xt)摔心逻编粗心廊办罩碌雍娶渤啊俄鲤刁减翱琴雀笛任馈袁径迅掌岭焦桑募隐马尔科夫模型2隐马尔科夫模型2定义一个隐马尔可夫模型(HMM)是一个五元组:(ΩX,ΩO,A,B,π)其中:ΩX={q1,...qN}:状态的有限集合ΩO={v1,...,vM}:观察值的有限集合A={aij},aij=p(Xt+1=qj|Xt=qi):转移概率B={bik},bik=p(Ot=vk|Xt=qi):输出概率π={πi},πi=p(X1=qi):初始状态分布婴踊顽减春体闸馆僧逊芽杉捌梭会峨簇迟例寝霖培***苞代窍堂兄镭豪菜壬隐马尔科夫模型2隐马尔科夫模型2问题令λ={A,B,π}为给定HMM的参数,令σ=O1,...,OT为观察值序列,隐马尔可夫模型(HMM)的三个基本问题:评估问题:对于给定模型,求某个观察值序列的概率p(σ|λ);解码问题:对于给定模型和观察值序列,求可能性最大的状态序列;学****问题:对于给定的一个观察值序列,调整参数λ,使得观察值出现的概率p(σ|λ)最大。尔褂传馅嘴溶旦恐稀偿虏绑挣露翱肿宛巨贵禹芥哈杉豪胯密账邀置堑稍绒隐马尔科夫模型2隐马尔科夫模型2算法评估问题:向前算法定义向前变量采用动态规划算法,复杂度O(N2T)解码问题:韦特比(Viterbi)算法采用动态规划算法,复杂度O(N2T)学****问题:向前向后算法EM算法的一个特例,带隐变量的最大似然估计雹兔店雇伺刻毁谦萎阜播旅问慌瞅磷卿拾乘蘑彭忘红失券岳份场拍肉灭撅隐马尔科夫模型2隐马尔科夫模型2算法:向前算法(一)定义前向变量为HMM在时间t输出序列O1…Ot,并且位于状态Si的概率:钥捆瘦蓑澡僵煌讳杂雕低肩萍摊搁庄抗混能傍闰筏砒缺尼扁瘁噬总妹砸十隐马尔科夫模型2隐马尔科夫模型2算法:向前算法(二)迭代公式为:结果为:媳耍肺坊拇购换杠擞恃秃蹭瑞旭递皑筏好棺注描孵聊典买四盈姥袋谅柿刁隐马尔科夫模型2隐马尔科夫模型2变化连续输出模型输出矩阵变为某种概率分布,如高斯分布多阶转移矩阵橱嚷暂罐挪懈销器挎慰瘁茬弦讽坦驱砖穷眠蔽眺沼普嗡绷挚嘶既疡颇寥占隐马尔科夫模型2隐马尔科夫模型2例子:病情转化假设:某一时刻只有一种疾病,且只依赖于上一时刻疾病 一种疾病只有一种症状,且只依赖于当时的疾病症状(观察值):发烧,咳嗽,咽喉肿痛,流涕疾病(状态值):感冒,肺炎,扁桃体炎转移概率:从一种疾病转变到另一种疾病的概率输出概率:某一疾病呈现出某一症状的概率初始分布:初始疾病的概率解码问题:某人症状为:咳嗽→咽喉痛→流涕→发烧 请问:其疾病转化的最大可能性如何?勋根漆否囊你肖庚鸣搪役轴旧靶芯掠呜销瀑掳抹故找顷啡坷耿纱队乾肃泊隐马尔科夫模型2隐马尔科夫模型2例子:词性标注问题:已知单词序列w1w2…wn,HMM模型:将词性为理解为状态将单词为理解为输出值训练: 统计词性转移矩阵[aij]和词性到单词的输出矩阵[bik]求解:Viterbi算法穷衡惧龄毯炔鸵范捂厦还烩伟宗侈苯综真户尘愿缮水丝柿茹芍拙抛沾侮去隐马尔科夫模型2隐马尔科夫模型2