随机过程论.doc

随机过程论.doc第二章马尔可夫(Markov)过程
§1离散时间马氏链
设是一个有限集或可数集,通常E=1,2,⋯或1,2,⋯,.
定义1设X=Xkk=0∞是定义在概率空间(Ω,F,P)一列随机变量,满足以下条件:
每个随机变量的值域为;
对于每个n≥1,i0,i1,⋯,in,in+1∈E,
PXn+1=in+1|X0=i0,X1=i1,⋯,Xn=in= PXn+1=in+1|Xn=in,
则称X=Xnn=1∞为状态空间为的离散时间马尔可夫链,
PXn+1=j|Xn=i
通常记作pijn,
Pn=(pijn)ij∈E
称为第n步转移矩阵.
如果转移概率
PXn+1=in+1|Xn=in
与无关,则称为时齐的.
πi=PX0=i, i∈E
称为初始分布.
通常我们只考虑时齐的马氏链,后面所说的马氏链都是指时齐的马氏链.
例1 有限区间上的吸收壁随机游动
例2有限区间上的反射壁随机游动
例3 0为反射壁的随机游动
例4 上的随机游动
命题1 转移函数pij和初始分布πi,i∈E满足以下条件:
πi≥0, i∈Eπi=1;
pij≥0, k∈Epik=1.
定理1 (Kolmogorov-Chapman方程)设X=Xnn=1∞为状态空间为的离散时间马尔可夫链,则
PXm+n=kX0=i=j∈EPXm=j|X0=iPXn=kX0=j.
定理2设X=Xnn=1∞为状态空间为的离散时间马尔可夫链,转移概率为pij,则
PXn=j|X0=i=k1,⋯,kn-1∈EPik1⋯pkn-1j
定理3给定满足命题1的pij和πi,i∈E,存在定义在某个概率空间(Ω,F,P)上的马氏链X=Xnn=1∞使得它的转移函数为pij,初始分布为πi,i∈E.
满足条件
pij≥0, k∈Epik=1.
的矩阵P=(pij)i,j∈E称为随机矩阵.
定义2 设X=Xnn=1∞为状态空间为的离散时间马尔可夫链,i,j∈E,如果存在某个n≥1使得PXn=j|X1=i>0,则称是自i可达的,记作i→→j并且j→i,则称和j是互通的.
命题2 i→j当且仅当存在某个n≥1以及j1,⋯,jn-2使得
pij1pj1j2⋯pjn-2j>0.
显然由i→j,j→k可推出i→k.
对于一个马氏链X=Xnn=1∞来说,我们可以将状态空间按照互通关系划分成互通类.
例5
定义3 设C⊂E, 如果C外的任何一个状态都不能自C中的状态到达,,,则称C是不可分的.
如果E是不可分的,则称该马氏链是不可分的.
例6
例7
设C⊂E, 包含C的最小闭集称为C的闭包,记作.
结论:
C是一个闭集,当且仅当对每个i∈C,j∉C,pij=0.
如果C是一个闭集,则P=(pij)i,j∈C是一个随机矩阵.
k是一个吸引态,当且仅当pkk=1.
j的闭包等于j∪k|j→k.
定义4 设i∈E,如果
P存在某个≥1使得Xn=i|X0=i=1,
则称状态是常返的,否则称之为暂留的.
令
fij(n)=PXn=j,Xn-1≠j,⋯,X1≠j|X0=i,
fij=n=1∞fij(n),μij