信息论基础与编码课后题答案(第三章).doc

信息论基础与编码课后题答案(第三章)3-1设有一离散无记忆信源,其概率空间为êéXùéx1x2ù,信源发出符号通过=êúúëP(x)ûëû1ù6úú,求:3ú4úûé5ê6一干扰信道,接收符号为Y={y1,y2},信道传递矩阵为P=êê1êë4(1)信源X中事件x1和x2分别含有的自信息量;(2)收到消息yj(j=1,2)后,获得的关于xi(i=1,2)的信息量;(3)信源X和信宿Y的信息熵;(4)信道疑义度H(X/Y)和噪声熵H(Y/X);(5)接收到消息Y后获得的平均互信息量I(X;Y)。解:(1)I(x1)=,I(x2)=(2)I(x1;y1)=,I(x1;y2)=-,I(x2;y1)=-,I(x2;y2)=(3)H(X)=H(,)=(Y)=H(,)=(4)H(XY)=H(,,,)=(X/Y)=-=(Y/X)=(5)I(X;Y)=-=-2设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。,错误传输概率平均分布在其他三个字母上。。证明:信道传输矩阵为:é1ê2êê1ê6P=êê1ê6ê1êë[***********]ù6úú1ú6ú,信源信宿概率分布为:P(X)=P(Y)={1,1,1,1,ú44441ú6ú1úú2ûH(Y/X)=(bit/符号),I(X;Y)=H(Y)-H(Y/X)=2-=(bit/符号)3-3已知信源X包含两种消息:x1,x2,且P(x1)=P(x2)=1/2,信道是有扰的,信宿收到的消息集合Y包含y1,y2。给定信道矩阵为:P=êéùú,ëûI(X;Y)。解:I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1bit/符号,H(Y)=,H(XY)=,I(X;Y)=。é2ê33-4设二元对称信道的传递矩阵为:êê1êë3(1)若P(0)=1ù3úú,2ú3úû31,P(1)=,求H(X),H(X/Y),H(Y/X)和I(X;Y);44(2)求该信道的信道容量及其达到信道容量时的输入概率分布。解:(1)H(X)=(bit/符号),H(XY)=(bit/符号),H(Y)=(bit/符号),H(X/Y)=(bit/符号),H(Y/X)=(bit/符号),I(X;Y)=(bit/符号);(2)C=(bit/符号),最佳输入分布为:PX={3-5求下列两个信道的信道容量,并加以比较:1212ép-e(1)êêëp-ep-ep-e2eùú(2)2eúûép-eêêëp-ep-ep-e2e00ùú2eúû其中p+p=1。解:(1)C1=log2-H(p-e,p-e,2e)-(1-2e)log(1-2e)-2elog4e=1+(p-e)log(p-e)+(p-e)log(p-e)+2elog2e-(1-2e)log(1-2e)-2elog4e=1-2e+(p-e)log(p-e)+(p-e)log(p-e)-(1-2e)log(1-2e)(2)C2=log2-H(p-e,p-e,2e)-(1-2e)log(1-2e)-2elog2e=1+(p-e)log(p-e)+(p-e)log(p-e)+2elog2e-(1-2e)log(1-2e)-2elog2e=1+(p-e)log(p-e)+(p-e)log(p-e)-(1-2e)log(1-2e)两者的信道容量比较:C2=C1+2e3-6求题图3-6中信道的信道容量及最佳的输入概率分布。并求当e=0和量C。X01Y1时的信道容2121-e2题图3-6解:由图知信道转移矩阵为:00ùé1ú,此信道非对称信道,也非准对称信道,不能利用其公式计算。P=ê01-eeêúêe1-eúë0û此信道也不能采用先假设一种输入分布,利用信道容量解的充要性来计算。但此信道矩阵是非奇异矩阵,又r=s,则可利用方程组求解:åP(bj=13j/ai)bj=åP(bj/ai)logP(bj/ai),i=1,2,3,所以j=13b1=0ìïí(1-e)b2+eb3=(1-e)log(1-e)+elogeïeb+(1-e)b=(1-e)log(1-e