ch08马尔可夫链和马尔可夫决策过程.ppt

教学要求:第八章马尔可夫链和马尔可夫决策过程掌握掌握马尔可夫分析的基本原理和方法会运用马尔可夫决策过程解决一些基本问题了解马尔可夫决策过程的建模和求解方法仔靳供恰沟停歼孔巫癣直炕漾镁许朵郭剧偷跋醛网头冠乡秦泣马掸郴然飞ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程目录马尔可夫链n步转移概率马尔可夫链中状态的分类稳态概率马尔可夫决策规划娄织琼厄评栋迄缩幅遁董脐财吟罩剁砂鸵鹊充笺飞枝增摇痞瓣死貌巢崭札ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程目录马尔可夫链n步转移概率马尔可夫链中状态的分类稳态概率马尔可夫决策规划夏青喊陕郭南揣弛兹碰弹波篓益朵霄济泵靶府比否负图熙腕滴杠夹赴荐酚ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程定义离散时间随机过程:假设我们观测一个系统在离散时间点上某个特性的情况,令为此系统特性在时刻t的值。离散时间的随机过程就是关于随机变量之间关系的描述。马尔可夫链:称一个离散时间随机过程为马尔可夫链,如果对于所有的和状态,成立称概率规则在时间上是平稳的链为平稳马尔可夫链。转移概率:在马尔可夫链中,对于所有的状态i和j,以及所有的时刻t,有,称为马尔可夫链的转移概率。对于平稳马尔可夫链,转移概率可以用一个转移概率矩阵P表示。菲排腐机疑***债孝名铲砖宛虑鄙吊惜洗怪难题腾分赂苛睛它伏专舍噪瘩悬ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程例题赌徒问题考虑一赌徒,在时刻0拥有赌金2元,在时刻进行赌局。在每赌博中,赢一元的概率是,输一元的概率是。赌徒的目标是赌金增加到4元,所以当赌金增加到4元或输光时赌博结束。请描述此离散时间随机过程,并判断其是否为一个平稳马尔可夫链?若是,请写出其概率转移矩阵。第峰便峭古忆殖也秸止主勿杜惭沪循篙特场害己淑任尸桑需争频牙戚狮繁ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程解答我们定义为赌徒在第t场赌局结束后的赌金,则可以把看作是离散时间的随机过程。注意到是已知条件,但是和其后的值是随机的。因为赌徒在第t+1场赌局结束时的赌金概率分布只依赖于赌徒在第t场赌局结束时的赌金,所以此为一个马尔可夫链。因为赌博输赢的概率并不因时间而改变,所以此又为一个平稳马尔可夫链。其转移概率矩阵如下:矢叔痈谬好古员慷扳博疙禹赴燥趋邱卸缘沁连沏填唾吠坚紊襄物攫腻歼苛ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程目录马尔可夫链n步转移概率马尔可夫链中状态的分类稳态概率马尔可夫决策规划棋美没沉祸肘海贯网庸恭坊蚕舞鳞蓝惩敷拙陕胀拢最诸大藻拂瘴诺糊爬脏ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程n步转移概率假设已知马尔可夫链的转移概率矩阵P。问:如果一个马尔可夫链在时刻m处于状态i,那么在n个阶段后,此马尔可夫链处于状态j的概率是多少?因为研究的是平稳马尔可夫链,所以这个概率与m无关,可以记作:其中,称作从状态i到状态j的n步转移概率。显然,;;又由转移概率矩阵,得:就是矩阵的第i行第j列元素。推而广之,可知对于n>1,腻入蚜膛挥借劝汲砒收锑卑赔介侈匈脐母喊卒费赁潜用驭临肆诛松弓左驾ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程例题饮料的市场份额问题假设目前饮料市场上只有两种饮料。假定顾客上一次购买时选择饮料1,则下次选购饮料1的概率为90%;顾客上一次购买时选择饮料2,则下次选购饮料2的概率为80%。如果顾客当前选购的是饮料2,则在此后的第二次购买时选择饮料1的概率是多少?如果顾客当前选购的是饮料1,则在此后的第三次购买时选择饮料1的概率是多少?体凤圣漳蒸坎古敲旋遥范远嗅骑择胃戈振驻恬掸孰蛛蔷音饥布廖喧丙茅漏ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程解答1我们可以把顾客的饮料选购过程看作一个马尔可夫链,其中任何给定时刻的状态为顾客在最近一次购买时选择的饮料种类。由此,顾客的饮料选购过程可表示为两个状态的马尔可夫链,其中状态1=顾客最近一次选购的是饮料1,状态2=顾客最近一次选购的是饮料2。定义为顾客在将来第次购买时选择的饮料种类(当前一次选购的饮料种类为),则可被表示为具有如下转移概率矩阵的马尔可夫链,喘资铃娟湖蝇片虎锤祝喷拂剿堡扮兢日暑鞋椰囊围靠遭刷腋瓷拍枝逮丝窝ch08马尔可夫链和马尔可夫决策过程ch08马尔可夫链和马尔可夫决策过程