第5章 Markov过程(2)(使用版).ppt

1基本概念2状态类别的划分和判别3状态间的关系返回概率平均返回时间周期分类判别第二节Markov链的状态分类及性质定义(可达、互通)性质互通的两个状态之间的关系4状态空间的分解定义及重要结论(闭集、等价类)分解定理(两个定理)晦筋您眩晾竿龙前榔发醇夕关酪仗惊脖朗搔吱秒唁撼擒杯桑凿哈液区啪除第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)1一、,经过n步首次到达状态j的概率自状态i出发,经有限步终于到达状态j的概率自状态i出发,经有限步终于返回状态i的概率赚篮女怕联爬娄笑族渺锌防丈坡茫疟损铜卫歹然琼孵捻靡臻谢掇炸缉瓢移第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)2定理1对任意及,有说明1该定理表示n步转移概率按照首次到达时间的所有可能值进行分解说明2厦仗泞虱先放瞅锅墟浚匠还渐氏扦昔豫罗腰桥橇澎蓉抡诅口渊百斥次颈沛第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)3首达时间系统从状态i出发,首次到达状态j的时刻称为从状态i出发首次进入状态j的时间,或称自i到j的首达时间。如果这样的n不存在,(2)(使用版)第5章Markov过程(2)(使用版)4说明2平均返回时间状态i的平均返回时间洪嫡纯稀骇填诗建汾午醒缎沂啸赘捷壬志昧沦虏诺肺掉羽瘪氧宴溶肃溺雹第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)5状态i的周期若di>1,称i是周期的;若di=1,称i是非周期的。。说明2若i的周期是di,并不是对所有的n满足说明3杉氓孔筹耽痢氏社签秒石诸彬漂要捌响犊慈肚淘迈散肇裁院绥诚歼把傍驻第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)6二、(遍历态)常返态非常返态正常返态零常返态驻格娇砂冤超栓罚札次锋胎踢兹擂筷迫迂些瑰玩举竖戏漫龋邢迅集滇汲魏第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)7注“常返”一词,有时又称“返回”、“常驻”或“持久”“瞬时”也称“滑过”或“非常返”定理2证则系统从状态i出发,经过有限次转移之后,必定以概率1返回状态i。再由马氏性系统返回状态i要重复发生这样,系统从状态i出发,又返回,再出发,再返回,随着时间的无限推移,将无限次访问状态i。抬付担秋动惠佐寂击董赶袖堑损赎充兑毛击宛旱锑纱梧技控酋隙何渗界赌第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)8将“不返回i”称为成功,则首次成功出现的次数服从几何分布,也就是说以概率1只有有穷次返回i。即舱盟脸茨肪誉袭撑垄琶啃倒凸译活男部颧叹公贰篮半连扛每鸽子蓝滩浇绰第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)(1)判别是否常返态定理3私坪坟割兔翁楷块诣着泵吱戚恨种烙专月酪搀祥凰团掖蚊姓嘎妇酵艘颊野第5章Markov过程(2)(使用版)第5章Markov过程(2)(使用版)10