随机过程第四章作业及参考答案.docx

随机过程第四章作业及参考答案.docx。记X〃为第〃次扔正面出现的点数,问{%(/?),h=1,2,--«]是马尔科夫链吗?如果是,试写出一步转移概率矩阵。又记匕为前”次扔正面出现点数的总和,问{/(/?),〃=1,2,…}是马尔科夫链吗?如果是,试写出一步转移概率。解:(1)由于{X"),斤=1,2,…}的取值只能是{1,2,3,4,5,6},故状态空间为E二{1,2,3,4,5,6}-由于X⑺)的収值的概率与X(/7-1)以前的X(i)的収值完全无关,所以是X(町是马尔科夫链。故Pu=p{xS)=/|x(〃_1)=斗=*.它的一步转移概率矩阵为:_11111r666666111111666666111111666666111111666666111111666666111111_666666_(2)由于前"次扔正血ns现点数的总和前〃-1次扔正血出现点数的总和+第斤次扔正面出现的点数,而前7?-1次扔正面出现点数的总和与第斤次扔正面出现的点数相互独立,因此丫⑺)具有无后效性,是马尔科夫链。它的-步转移概率为:( 、一,J=i+1,i+2,…,i+6Pij\n,n+l)=<60,j=i,i+7,i+8,…,或j<i其屮i=①〃+l,…,6〃;j=«+L〃+2,…,6(h+1)。,一步向右的概率为p(0</7<1),一步向左的概率为g,q=1—p。在兀=0和x=a处放置吸收壁。记X(〃)为第"步质点的位置,它的可能值是{X(n),斤=0,1,2,…}。试写出一步转移概率矩阵。解:状态空间为E={0,l,2,…,a}o由题意得一步转移概率矩阵为:_1000…0_q0p0…00q0P…000•••q0P00•••••••••1_P=,如果前〃次扔出现点数的最大值为就说X(切的值等于丿。试问{X(n),= 是不是马尔科夫链?并写出一步转移概率矩阵。解:由于X®)的取值只能为{1,2,3,4,5,6}屮的值,故状态空间为E二{1,2,3,4,5,6}。由于X(/?)是前〃次扔骰子出现的最大点数,X(町的取值的概率只与X(72-1)的取值有关,因为X 为前X(/?-1)次扔骰子出现的最大点数,而与X(n-1)以前的X(Z)的取值无关,因此X(n)是马尔科夫链。0,j<iX(〃)的一步转移概率为:P{x(n)=j\x(n-l)=i}=<61・.一,]>i〔6」X®)的一步转移概率矩阵为:16000116611661**********&将适当的数字填在下血的空白处,使矩阵31P=10]_J_3 311ioToi是一步转移概率矩阵。解:根据工必i(心1,2,…),可得:丄j_3 3丄J_ioToo1oojP=101000丄2_4 4P229设马尔科夫链的一步转移概率矩阵为3613 3113 2 6试求二步转移概率矩阵。解:二步转移概率矩阵为:设马尔科夫链的一步转移概率矩阵为其中p>0,q>0,p+q=lo试求二步转移概率矩阵和三步转移概率矩阵,并用数学归纳法证明一般步转移概率矩阵为空i-(p-q)"i+(p-q)"(1)解:二步转移概率矩阵为:p(2)=[p(i)]2二Pqqpqp+pqpq+qp2pqP⑶=P(2)P(l)=2pqp2pq2■>p+v」Lg二p'+pq2+2pq22p'q+卩'q+q?(2)证明:p2q+q3+2p2q2pqf+pq2b+3凶2q'+3p2qb+3內八3耐2pq22"+q三步转移概率矩阵为:1°当n=1时,12p2qpq22q2pqp1—(〃一<?)p+q+p_qP+q_P+qp+q_p+q即为一步转移概率矩阵。・•・当斤=1时,等式成立。2°设当n=k(32且为正整数)时,等式成立,i+(p-q$1-(卩-"1+(。-亦当n=k^1时,P(£+1)=P⑴p(l)=g1+(卩-川1-(〃-川1+(卩-<7)"j_p+p(p-q$+q-q(p-q$q+q(p-七p-卩5-口$2p-p(p-q$十q+q(p-q$ +〃+〃(〃-g)"j_(p+q)+(p-q)(p-q$(p+q)-(p-2(p+q)-(p-q)(p-qY(〃+9)+(〃-9)(卩-@)*1+(—§厂1一(—纟厂i-(p-^)A+ii+(p-^y+i•••当n=k+1时,等式成立。由1°、2°知,对于任意正整数斤,等式均成立。={1,2,3},初始概率分布为n(«)-1』))-1』))-1卩_7入-了必盲和一步转移概率矩阵卩20〕4P=1113 3o124(1)计算P{X(O)=l,X(l)=2,X(2)=2};(2)试证P{X(1)=2,X(2)=2|X(0)=l}=pI2p22;(3)计算pX2(2)o⑴解:P{X(0)=1,X⑴=2,X(2)=2}=^X