OR 08马尔科夫链ppt课件.ppt

OR_08马尔科夫链ppt课件第8章马尔科夫链(MarkovChains)11随机过程的基本概念在不少随机现象中,不仅需考虑在某一时刻下的系统状态,而且要研究该系统状态随时间推移而发生的发展变化过程。例如:卡车装运系统电话交换系统城市交通交叉路口2随机现象发展变化过程如何进行描述?某固定时刻t下随机现象状态的描述:随机变量当t在某时间区间内连续发生变化时,单个或多个随机变量不足以表示随机现象的发展变化过程。则:当t在某区间(a,b)内连续变化时,必须用一族无限多个随机变量来描述。这一族无限多个随机变量的总称就是随机过程。3函数概念与随机过程概念的对比:确定性现象中:随时间t变化的一族数值构成函数Y(t),每个固定值t确定一个数值Y。t的变化范围称定义域,Y(t)的取值范围称值域。随机性现象中:随时间t变化的一族随机变量构成随机过程Y(t),每个固定值t确定一个随机变量Y。t的取值范围T称参数集,Y(t)的取值范围E称状态空间。因此,随机过程可以看作依赖于时间t的由随机变量构成的函数。4随机过程的描述符号:{Y(t),t∈T}随机过程的定义:设T为参数集,若对于每一个t∈T,均有一个随机变量Y(t)与其对应,则将这一族依赖于t的随机变量的全体称为随机过程,记作{Y(t),t∈T},或简记作YT。5如:泊松过程属T连续,E离散的平稳过程。马尔可夫链是T和E均离散的马尔可夫过程。随机过程的分类:按照参数集(T)和状态空间(E)的类型,可分为:离散参数链,非离散参数链,随机序列,随机函数根据概率结构,随机过程可以划分为:独立增量过程,平稳过程,非平稳过程,马尔可夫过程等62随机过程的模拟随机过程模拟的实质:随机变量模拟的实质:通过计算机获取随机变量的样本,在一次实验中表现为一个数值。通过计算机实验获取随机过程的一个样本函数。7泊松过程及模拟泊松流的概念泊松流(即泊松过程)常用来描述一个随机质点流的状态变化过程。随机质点流指源源不断地随机地到达某目标的一串质点,如:到商场的顾客流、到达工厂的定单流,网络上到达某节点的数据流等。单位时间内到达目标的泊松流质点数目服从泊松分布:8{Tn,n=1,2,……}则描述了随着到达次序的变化,相继到达目标的两质点到达时间间隔的变化过程。N(t):[0,t]时间内,到达某目标的质点数;Sn:第n个质点到达目标的时刻(n=1,2,…);Tn:第n个质点与其前一质点的相继到达间隔时间。描述泊松流概率特征的符号:{N(t),t≥0}描述了随着t的变化,在[0,t]时间区间内到达目标质点数的变化过程;{Sn,n=1,2,……}描述了随着到达目标的先后次序,质点到达时刻的变化过程;9泊松流的特征及其性质泊松流概率特征:1)独立性:在互不相交的时间区间内到达目标的质点数是相互独立的;2)平稳性:对于充分小的△t>0,在时间区间[t,t+△t]内有一个质点到达目标的概率与时间起点t无关,而仅与△t长度成正比;3)普遍性:对于充分小的△t>0,在时间区间[t,t+△t]内有一个以上质点到达目标的概率几乎为0。泊松流的基本性质:强度为的泊松流,其相邻质点到达间隔时间服从参数为的负指数分布。10