第二章Markov过程3.doc

该【第二章Markov过程3 】是由【泰山小桥流水】上传分享，文档一共【15】页，该文档可以免费在线阅读，需要了解更多关于【第二章Markov过程3 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞第二章 Markov过程(六)闭集和状态空间的分解定义:设C是状态空间S的一个子集,如果从C内任何一个状态i不能到达C外的任何状态,则称C是一个闭集。如果单个状态i构成的集{i}是闭集,则称状态i是吸收态。如果闭集C中不再含有任何非空闭的真子集,则称C是不可约的。闭集是存在的,因为整个状态空间S就是一个闭集,当S不可约时,则称此马氏链不可约,否则称此马氏链可约。有关的性质:(1)C是闭集pij0,iC,jCpi(jn)0(n1),iC,jC(2)C是闭集pij1,iCjC(3)i为吸收态pii14)齐次马氏链不可约任何两个状态均互通5)所有常返态构成一个闭集6)在不可约马氏链中,所有状态具有相同的状态类型定义:对iS,若正整数集n;n1,pi(ni)0非空,则定义其最大公约数为状态i的周期,记为di,当di1时,称该状态无周期。定义:称非周期正常返状态为遍历态。1中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞注意:一个不可约的、非周期的、有限状态的马氏链一定是遍历的。(七)常返、非常返、周期状态的分类特性设ij,则i和j或者都是非常返态,或者都是零常返态,或者都是正常返非周期的(遍历),或者都是正常返有周期的且有相同的周期。非常返态状态零常返态有周期常返态正常返态非周期(遍历态)(八)周期状态的判别(1)按互通性将状态分类后,其周期性即可。(2)如有正整数n,使得pi(in)在同一类集合中选一个状态判别0,p(n1)0,则状态i无周期。ii(3)如有正整数m,使得m步转移概率矩阵 Pm中相应某状态 j的那一列元素全不为零,则状态 j无周期(九)分解定理(1)齐次马氏链的状态空间 S可唯一地分解为有限多个或可2中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞列多个互不相交的状态子集D,C1,C2, 之并,即有S D C1 C2 。其中:D是非常返态集,,n1,2,均是由常返状态组成的不可约集,其中的状态互通,,n1,2,中的状态具有相同的状态类型:或者均为零常返;或者均为正常返非周期(遍历);或者均为正常返有且有相同的周期;而且对于i,jCn,fij1。(2)(周期链分解定理)一个周期为d的不可约马氏链,其状态空间S可以分解为 d个互不相交的集 J1,J2, ,Jd之并,即有:dS Jr, Jk Jl ,k l,r 1且pij 1,i Jr,r 1,2,Jr1其中约定Jr1 J1。3)基于上面的(1),我们将状态空间S中的状态依D,C1,C2,的次序从新排列,则转移矩阵具有以下的形式PD PD1PD2 DPP1 C1P2 C2其中P1,P2, 均为随机矩阵,他们对应的链是不可约的。 称以上形式的转移矩阵为标准形式。3中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞(十)有限马氏链的性质1)所有非常返状态组成的集合不可能是闭集。2)没有零常返状态。3)必有正常返状态。4)不可约有限马氏链只有正常返态。5)状态空间可以分解为S D C1 C2 Ck其中:,n 1,2, ,k均是由正常返状态组成的有限不可约闭集,D是非常返态集。(十一)例子例1设有三个状态{0,1,2}的齐次马氏链,它的一步转移概率矩阵为:1/21/20P1/21/41/401/32/3试研究其状态关系。例2设有四个状态{0,1,2,3}的齐次马氏链,它的一步转移概率矩阵为:1/21/2001/21/200P1/41/41/41/400014中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞试研究其状态关系。解:{0,1}正常返,{2}非常返,{3}吸收态。例3设马氏链的状态空间为S{1,2,3,},转移概率为:p111/2,pii11/2,pi11/2,iS,研究各状态的分类。解:画出状态转移图,可知:1n1nf11(n),故f111,故状态1是常返的。2n12n又1n1,故状态1是正常返的。n12易知状态1是非周期的,从而状态1是遍历的。对于其它状态,由于1i,iS,因此也是遍历的。例4设有八个状态{0,1,2,3,4,5,6,7}的齐次马氏链,它的一步转移概率矩阵为:01/41/21/4000000001/21/20000001/32/30000000100P000001000000001/21/21000000010000000讨论其周期性。解:主对角线为 0,它是具有周期性的转移矩阵的标准形式。八个状态可以分为四个子集, c1 {0},c2 {1,2,3},c3 {4,5},5中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞c4{6,7},它们互不相交,它们的并是整个状态空间,该过程具有确定的周期转移,即:c1c2c3c4c1,周期为4。例5设齐次马氏链的状态空间为{1,2,3},一步转移矩阵为:1/21/41/4P03/41/4001求:(1)T13的分布率及ET13,(2)fii(i1,2,3)解:(1)画出状态转移图,可得 T13的分布率为:T13n1234nP{T13n}1332333n144243444nn3n1因此,ET13nP{T13n}n4。n1n14(2)由于:f11(1)1/2,f11(n)0,n1,故f111/21f22(1)3/4,f11(n)0,n1,故f113/41f33(1)1,f11(n)0,n1,故f331因此,状态1和2为非常返态,3为常返态。例6设齐次马氏链的状态空间为{1,2,3,4},一步转移矩阵为:1/21/2001000P1/32/3001/201/206中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞试研究其状态关系。解:画出状态转移图,可知:f44(n)0(n1)f4401f33(1)2,f33(n)0(n1)f332133故状态3和4为非常返态。f11f11(1)f11(2)001f22f22(n)01111n1242n11nf11(n)11213n12222nf22(n)1021n13n122n1故状态1和2都是正常返的,易知它们是非周期的,从而是遍历状态。例7设一齐次马氏链的状态空间为S{0,1,2,},其状态转移矩阵为:1p0p00001p10p1001p200p20试讨论此链状态的分类及常返的充分必要条件。例8设一口袋中装有三种颜色(红、黄、白)的小球,其数量分别为3、4、3。现在不断地随机逐一摸球,有放回,且视摸出球地颜色计分:红、黄、白分别计1、0、-1分。第一次摸球之前没有积分。以Yn表示第n次取出球后的累计积分,n0,1,7中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞a)Yn,n0,1,是否齐次马氏链?说明理由。b)如果不是马氏链,写出它的有穷维分布函数族;如果是,写出它的一步转移概率pij和两步转移概率pij(2)。(c)令0min{n;Yn0,n0},求P{05}。附录:转移矩阵估计问题设{Xn;n0}为一齐次马氏链,状态空间为S,我们有此马氏链的一次实现(样本)x0,x1,,xN,而转移矩阵未知,如何用现有数据来估计转移矩阵 P?记在状态i之后首次出现状态 j的时间为n(i,j),定义似然函数:pijn(i,j),jS相应的对数似然函数为:Ln(i,j)lnpijn(i,j)lnpiji,jSiSjS利用约束条件pij1iS,由极大似然估计法(MLEs)我们jS有如下估计式:n(i,j)p?ijn(i,k)k S注:此估计为局部最大估计。也可以由以下引理得到以上的估计。N引理:设zi0(iN),则在约束条件xi1,xi0(iN)下,i1函数Nzi(iN)处取得最大。zilnxi在xiNi1zii18中科院研究生院 2004~2005第一学期 随机过程讲稿 :(1)当n 时,P{Xn i} i(n)的极限是否存在?(2)在什么情况下,一个马氏链是一个平稳序列?关于第一个问题,由于:j(n)i(0)pi(nj),其中iSi(0)P{X0i},{i(0),iS}是马氏链的初始分布,因此,问题可以转化为研究pi(nj)的极限性质,即研究limpi(nj)是否存在?存在n的话,其极限是否与i有关?关于第二个问题,实际上是一个平稳分布是否存在的问题。(一)Pn的极限性态定理:设有一有限状态的马氏链,若存在一个正整数 m,使得对于i,jS,有pi(mj)0,则limPn,其中是一随机矩阵,n且它的各行都相同。如果状态空间是无限可列的马氏过程,则定理要修改为:1)或者是中的所有元素都大于零(此时仍为随机矩阵)2)或者是中的所有元素都等于零9中科院研究生院 2004~2005第一学期 随机过程讲稿 孙应飞推论1Pn的极限矩阵是唯一的,且满足:(1)ipijj,i0,即:P。iS(2)i1,iS推论2limP{Xnj}limpi(nj)j,即limP{Xnj}所取的值与初nnn始状态的分布无关。证:由于:P{Xnj}P{XnjX0i}P{X0i}iSpi(nj)P{X0i}iS故limP{Xnj}limpi(nj)P{X0i}nnSijP{X0i}jP{X0i}iSiSjlimpi(nj)n即,经过无穷次转移后处于j状态的概率与初始状态无关,与初始状态的分布也无关。下面不加证明地给出几个常用的定理定理:若j是非常返或零常返,则对于任意的 i S,有limP{Xn j} limpi(nj) 0。n n10