马氏过程.pptx

第六章 马尔可夫过程
§ 马尔可夫过程概念
§ 马尔可夫链
§ 切普曼－柯尔莫哥洛夫方程
1
§ 转移概率的遍历性与平稳分布
本章基本要求
理解马尔可夫性与马尔可夫过程概念，学会判别马尔可夫过程;
理解马尔可夫链与齐次马尔可夫链的概念，会判别齐次马尔可夫链;
会求一步转移概率及一步转移概率矩阵，会画概率转移图;
3
掌握n步转移概率求法及切普曼－柯尔莫哥洛夫方程;
了解初始分布和绝对分布概念，会求马氏链的绝对分布和任意有限维分布;
了解齐次马氏链的遍历性意义，会求平稳分布.
§ 马尔可夫过程概念
马尔可夫过程，也称为“健忘”过程，是在20世纪初由前苏联学者马尔可夫在研究随机过程中得到的，因而称马尔可夫过程，简称马氏过程。马尔可夫过程是一类重要的随机过程，它在信息理论、自动控制、数值计算、近代物理、工程技术、生物科学、经济交通等领域都起到了非常重要的作用。
4
5
引例：从数1，2，……N 中任取一数，记为 X1 ，再从1，2，…… X1 中任取一数，记为 X2，如此下去，……从 1,2，…… Xn-1 中任取一数，记为 Xn 。
6
一、马尔可夫过程的数学定义
1. 马尔可夫性
马尔可夫性，又称“无后效性”，是指当随机
过程在某时刻 所处状态已知的条件下，该过程
在之后的时刻 处于的状态只会与 时刻的
状态有关，而与该过程在 以前所处的状态无关。
注：马尔可夫过程是具有马尔可夫性的一类随机
过程，马尔可夫性（无后效性）体现了马尔可夫过
程的“健忘”特点。
简单地说，马尔可夫性（简称马氏性），是指
“将来”只与“现在”有关，而与“过去”无关。
7
2. 马尔可夫过程的定义
[]
马尔可夫性（无后效性）
设 为一随机过程， 为其状态空间，若对任意的 ，任意的 ，
任意的 ，随机变量 在已知条件 下的条件分布函数若只与 有关，而与
无关，即条件分布函数满足等式
8
即
或相应的条件概率分布（离散型）满足等式：
或相应的条件概率密度（连续型）满足等式：
则称此过程 为马尔可夫过程，简称为
马氏过程。
二、常见的马氏过程
[]
独立随机过程为马氏过程。
证：
设{X(t),t∈T}为独立过程，则
相互独立，
9
故，独立过程是马氏过程。
10
[例1]
连续抛硬币试验中，令 表示第n次抛掷时正面朝上，否则 ，则
为独立过程，从而它是马氏过程。
[例2]
连续掷骰子试验中，令 表示第n次掷得的点数，则随机过程 为独立过程，从而它是马氏过程。