马尔可夫链数学建模PPT学习教案.pptx

会计学
1
马尔可夫链数学建模
马尔可夫链的应用
预备知识：马尔可夫链
随机过程：设 是一族随机变量，T是一个实数集合，
若对任意的 实数 ， 是一个随机变量，则称
为随机过程。
第1页/共55页
例一 在一条生产线上检验产品质量，每次取一个，废品记为1
合格品记为0。以 表示第n次检验结果，则 是一个随机
变量. 不断检验，得到一系列随机变量，
记为
它是一个 随机序列，其状态空间为E={0，1}
例二：在m个商店联营出租相机业务中（顾客从其中一个商店租出
可以到m个商店中的任意一个归还）规定一天为一个时间单位
表示第t天开始时照相机在第j个商店,j=1,2,…..m.
则 是一个随机序列，其状态空间为
第2页/共55页
例3：
某商店每月考察一次经营情况，其结果用销路好或坏这
两种状况中的一种表示。已知若果本月销路好，下月任
；如果本月销路坏，下月转变
，试分析假若开始时商店处于销路
好的状态，过若干月后能保持销路好的概率有多大？如果
开始是处于销路坏呢？
E={1,2,…….m}
,n=0,1,2,………..
称为这个经营系统的状态
第3页/共55页
称为无后效性，由此，更椐全概率公式容易得到
第4页/共55页
如表所示，由数字变化规律可以看出
开始销路好时状态概率的变化
n
0 1 2 3 ………
1
4/9
0
5/9
第5页/共55页
表2 开始销路坏时的状态概率的变化
0 1 2 3 ………
n
0 4/9
1 5/9
马尔可夫链的定义：
设
是一个随机序列，状态空间E为有限或可列
对于任意的正整数m,n，若i,j, 有
则称
为一个
马尔可夫链
第6页/共55页
马氏链及其基本方程
由状态转移的无后效性和全概率公式可以写出马氏链的基本方程
第7页/共55页
第8页/共55页
马氏链至少包括一个吸收状态，并且从每一个非吸收状
态出发，能以正的概率经有限次转移达到某个吸收状态
则称此马氏链为吸收链。
定理2：正则链存在唯一的极限状态概率
第9页/共55页