随机过程论9.doc

第二章马尔可夫( Markov )过程§1 离散时间马氏链设是一个有限集或可数集,通常或。称为状态空间。定义 1设是定义在概率空间一列随机变量,满足以下条件: (1) 每个随机变量的值域为; (2) 对于每个,,=, 则称为状态空间为的离散时间马尔可夫链,简称马氏链。条件概率通常记作,称为第步转移概率。矩阵称为第步转移矩阵。如果转移概率与无关,则称为时齐的。称为初始分布。通常我们只考虑时齐的马氏链,后面所说的马氏链都是指时齐的马氏链。例1 有限区间上的吸收壁随机游动例2 有限区间上的反射壁随机游动例30 为反射壁的随机游动例4 上的随机游动命题 1 转移函数和初始分布满足以下条件: 定理 1( Kolmogorov-Chapman 方程)设为状态空间为的离散时间马尔可夫链, 则定理 2设为状态空间为的离散时间马尔可夫链,转移概率为,则定理 3 给定满足命题 1的和,存在定义在某个概率空间上的马氏链使得它的转移函数为,初始分布为。满足条件的矩阵称为随机矩阵。定义 2设为状态空间为的离散时间马尔可夫链,, 如果存在某个使得,则称是自可达的,记作。如果并且,则称和j是互通的。命题 2 当且仅当存在某个以及使得>0. 显然由可推出. 对于一个马氏链来说,我们可以将状态空间按照互通关系划分成互通类。例5 定义 3设, 如果外的任何一个状态都不能自中的状态到达,则称是闭集。如果单点集是一个闭集, 则称是吸收态。如果的任一个真子集都不是闭集, 则称是不可分的。如果是不可分的,则称该马氏链是不可分的。例6例7设, 包含的最小闭集称为的闭包,记作。结论: 1、是一个闭集,当且仅当对每个, 2、如果是一个闭集,则是一个随机矩阵。 3、是一个吸引态,当且仅当=1. 4、的闭包等于. 定义 4设,如果则称状态是常返的,否则称之为暂留的。令, =,. 则, 表示自 i 到达 j 的所走的步数的数学期望, 称为 i的平均回转时间。定义 5 如果,则称 i是正常返的,如果,则称 i是零常返的。例6 随机游动定义 6 如果集合的最大公约数为 1, 则称 i是非周期的, 否则称 i为周期的,这时该集合的最大公约数称为 i的周期。例7 周期命题 3设是常返态,如果,则并且 j 也是常返态。分解定理状态空间可以分成一系列互不相交的子集, 使得(1)