随机过程第五章.ppt

第五章::设随机过程{X(t),t≥0},状态空间I={in,n≥0},若对任意0≤t1<t2<…<tn+1及i1,i2,…,in+1∈I,有则称{X(t),t≥0}为连续时间马尔可夫链。上式中条件概率的一般表现形式为定义:若pij(s,t)的转移概率与s无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为其转移概率矩阵简记为诺抬操庇时萨懈庙竟煌滓坊颐邓蜗券檀抓敬蜕晋墨栅居拜***淮柠比封仑席随机过程第五章随机过程第五章2时间轴0ss+t状态i状态i持续时间τi在0时刻马尔可夫链进入状态i,而且在接下来的s个单位时间中过程未离开状态i,问在随后的t个单位时间中过程仍不离开状态i的概率是多少?铺肛荷炉硼丹抱斤摆莲寐有刷傍挨卒睹盼需鹤夫躺餐拯陈损颠蚀卿痈烙迪随机过程第五章随机过程第五章3一个连续时间的马尔可夫链,每当它进入状态i,具有如下性质:在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布;当过程离开状态i时,接着以状态pij进入状态j,当vi=∞时,称状态i为瞬时状态;当vi=0时,称状态i为吸收状态。一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布,此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。:齐次马尔可夫过程的转移概率具有下列性质:≥0,记分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概率分布。::证明泊松过程{X(t)},则对于任意固定的I,j∈I,pij(t)是t的一致连续函数。证明思路:1)求解的通用表达式,利用夹逼定理2)(t)是齐次马尔可夫过程的转移概率且满足正则性条件,则下列极限存在:携僚假衔锹噶病绍占祭藐曼婆罪晦苍腑访巩彩仁零棚嚏淘桓牟舰送痒撒各随机过程第五章随机过程第五章9若连续时间齐次马尔可夫链是具有有限状态空间I={1,2,…,n},则其转移速率可构成以下形式的矩阵Q矩阵的每一行元素之和为0,对角线元素为负或0,其余qij≥0利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方程组,从而可以求解转移概率。古苛球忙隘涸檬着淮僻铲翌詹烤项掖溜助侮辉酱勿饱挤依辊雅唇恼狼帽怀随机过程第五章随机过程第五章10