随机过程五.doc

随机过程五.doc定义:
时间连续、状态离散的马尔科夫过程.
设随机过程,状态空间,若对任意的
有
则称其为连续时间马尔科夫链.
马尔可夫过程的任意有限维分布函数均可用它的初始分布和二维条件分布函数来确定.
转移概率:
在s时刻处于状态i,经过时间t后转移到状态j的概率:

齐次转移概率:
(转移概率与起始时刻s无关,只与时间间隔t有关)
转移概率矩阵: .
齐次马尔科夫过程的性质:
;

转移概率的正则性条件:

过程刚进入某状态不可能立即又跳跃到另一状态.




:
为过程在状态转移之前停留在状态i的时间,则对有:
1>;
2>服从参数为指数分布,;
当无穷时:
状态i的停留时间超过x的概率为0,则称状态i为瞬时状态;
当=0时:
状态i的停留时间超过x的概率为0,则称状态i为吸收状态;
3>当过程离开状态时,接着以概率进入j状态.
在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量.

齐次马尔可夫过程满足正则性条件,则对于任意i,j∈I,是t的一致连续函数
科尔莫戈罗夫向后方程:;
科尔莫戈罗夫向前方程::为的导数.
==
初始条件:
若Q为一个有限矩阵则有:
10转移速率:
是齐次马尔可夫过程的转移概率,在下列极限存在:
;
.
为齐次马尔可夫过程从状态i到状态j的转移速率;
对有限齐次马尔可夫过程;
对状态空间无限的齐次马尔可夫过程.
11Q矩阵
12绝对概率
齐次马尔可夫过程在t时刻处于状态的绝对概率满足方程:
互通
设是连续时间马尔可夫链的转移概率,若存在时刻,使得,
,,则称此马尔可夫链为不可约的.
渐近性质
设时间连续的马尔可夫链为不可约的,具有如下性质:

的唯一非负解,此时称是该过程的平稳分布并且有
若其为零常返或非常返的,则
15生灭过程
设其次马尔科夫过程的状态空间为,转移概率为如果:
.则称其为生灭过程为出生率为死亡率.
为正常数,则称其为线性生灭过程.
若==0则为纯灭过程
平稳分布存在的充要条件: