第3章马氏过程.ppt

随机数学
第三章马氏过程
教师: 陈萍
******@.
1
Markov链一、马氏链的概念及转移矩阵
若随机序列{Xn,nN},状态空间E={1,2,…}.
对任意n1,任意i0,i1,···,inE,都有
则称{Xn,nN},为是一个可数状态的Markov链,简称马氏链。
注式()所反映这种性质称为Markov性或无后效性,它与第一章论述的Markov性是等价的.
2
马氏链的等价描述:
1)
()
仅证:
事实上:
3
2)
证: 2)() 取
则
反之, 由定义,
于是,
4
3)
4)
课外练****br/>5
Markov链X={Xn,nN} , E={1,2,…}.
1) -- n步转移概率;
2)若与m 无关--齐次(或时齐)Markov链,此时
特别,
以下仅限于讨论齐次马氏链.
3) -- n步转移概率矩阵.
6
随机矩阵
若马氏链的状态空间E={1,2,···,N},则称此马氏链是有限马氏链。此时,其k步转移矩阵是一个N 阶方阵
显然
7
C-K方程.
或
记
-- n时刻Xn的概率分布向量.
-- Markov链的绝对分布;
--Markov链的初始分布.
可证, 一个Markov链的特性完全由它的一步转移概率矩阵P及初始分布向量决定…
8

EX 设系统有三种可能状态E = {1, 2, 3}. “1”表示系统运行良好,“2”表示运行不正常,“3”表示系统失效. 以Xn表示系统在时刻n的状态, 并设{Xn, n≥0}是一Markov链. 没有维修及更换条件下,其自然转移概率矩阵为P, 初始分布为π, 试求系统在时刻1,2及n∞时出现各种状态的概率.
9
二若干实例
独立随机变量和的序列
设{ξn, n≥0}为独立同分布随机变量序列,分布律为P{ξn = k}= qk, k=0,1,…,
令,则{Xn, n≥0}是一Markov链,且
10