马氏过程2.ppt

25-十二月-17
§ 齐次马氏链的状态分类
为了进一步研究齐次马氏链的极限性质,首先需要对状态进行分类。
定义1 若存在,使,则称状态可达,记为,否则称状态不可达。
定义 2 若且,则称状态互通。
一、互通、首达
定理1 互通具有下列性质:
25-十二月-17
(1)自返性
(2)对称性则
(3)传递性则
定义3 从状态出发经过步首次到达状态的时刻称为首达时刻。
定义4 从状态出发经过步首次到达状态的概率
25-十二月-17
定义5 从状态出发经最终到达状态的概率为
一般地,规定
定理2 对任意,有
25-十二月-17
证
25-十二月-17
定理3
证由知,存在,使
又由定理2, ,
则在中至少存在一个>0, 从
而
若,则存在,使,而
25-十二月-17
得证。
推论
定义6 称为自状态出发首次
到达的平均时间。当时,称为平均返回时间。
25-十二月-17
一、常返
定义 7 若,则称状态是常返状态;否则称为非常返状态。
定理4 状态是常返状态的充分必要条件是
推论1 状态是非常返状态的充分必要条件是
25-十二月-17
推论2 状态是非常返状态,则
注表示从出发平均返回的次数。
定义 8 设是常返状态,若,则称
是正常返;否则称为零常返。
定理5 设是常返状态,则为零常返的充要条件是
25-十二月-17
定理6 若,则它们同为常返或非常返,若为常返,则同为零常返或正常返。
结合以上定理,有
(1) 常返,
(2) 零常返,
(3) 正常返,
25-十二月-17
二、状态空间分解
定义9 设C是状态空间的一个子集,若从C内的任一状态不能到达C外的任一状态,则称C为闭集。
显然,状态空间是一个闭集。
易证明
定理7 所有的常返状态构成一个闭集。
定理8 状态空间必可以分解为