6-马氏过程.pdf

第六章 马尔可夫过程
§ 马尔可夫过程概念
§ 马尔可夫链
§ 切普曼－柯尔莫哥洛
夫方程
§ 转移概率的遍历性与
1
平稳分布
本章基本要求
理解马尔可夫性与马尔可夫过程
概念，学会判别马尔可夫过程;
理解马尔可夫链与齐次马尔可夫
链的概念，会判别齐次马尔可夫链;
会求一步转移概率及一步转移概
率矩阵，会画概率转移图;
掌握n步转移概率求法及切普曼－柯尔
莫哥洛夫方程;
了解初始分布和绝对分布概念，会求
马氏链的绝对分布和任意有限维分布;
了解齐次马氏链的遍历性意义，会求
平稳分布.
3
§ 马尔可夫过程概念
马尔可夫过程，也称为“健忘”
过程，是在20世纪初由前苏联学者
马尔可夫在研究随机过程中得到的，
因而称马尔可夫过程，简称马氏过
程。马尔可夫过程是一类重要的随
机过程，它在信息理论、自动控制、
数值计算、近代物理、工程技术、
生物科学、经济交通等领域都起到
4 了非常重要的作用。
一、马尔可夫过程的数学定义
1. 马尔可夫性
马尔可夫性，又称“无后效性”，是指当随机
过程在某时刻 tk所处状态已知的条件下，该过程
t
在之后的时刻 t, t tk 处于的状态只会与 k 时刻的
状态有关，而与该过程在 tk以前所处的状态无关。
简单地说，马尔可夫性（简称马氏性），是指
“将来”只与“现在”有关，而与“过去”无关。
注：马尔可夫过程是具有马尔可夫性的一类随机
过程，马尔可夫性（无后效性）体现了马尔可夫过
程的“健忘”特点。
5
2. 马尔可夫过程的定义
[]
设{X ( t ), t T }为一随机过程，E 为其状态空间，
若对任意的 n 1，任意的 t12 t   tn  t  T，
任意的 ，随机变量 在已知条
x12, x , , xn , x E Xt()
件 X( t1 ) x 1 , X ( t 2 )  x 2 , , X ( tnn )  x下的条件分布函
数若只与 X() tnn x 有关，而与
X( tnn1 ) x 1 , , X ( t 2 )  x 2 , X ( t 1 )  x 1
无关，即条件分布函数满足等式 马尔可夫性
（无后效性）
F( x , t | xn , x n1,, x 1 , t n , t n 1 , , t 1 ) F ( x , t | x n , t n )
6
即
P( X ( t ) x | X ( tn )  x n , , X ( t11 )  x )  P ( X ( t )  x | X ( t n )  x n )
或相应的条件概率分布（离散型）满足等式：
P( X ( t ) x | X ( tn )  x n , , X ( t11 )  x )  P ( X ( t )  x | X ( t n )  x n )
或相应的条件概率密度（连续型）满足等式：
f( x , t | xn , x n1,, x 1 , t n , t n 1 , , t 1 ) f ( x , t | x n , t n )
则称此过程 {X ( t ), t T }为马尔可夫过程，简称为
马氏过程。
7
二、常见的马氏过程
[]独立随机过程为马氏过程。
证：
设{X(t),t∈T}为独立过程，则 n 1 ,  t12  t   tn  t  T
X( t12 ), X ( t ) X ( tn ), X ( t ) 相互独立