答案~信息论与编码练习.doc

答案~信息论与编码练****br/> 1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号,并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传送完?
00
11
解答:消息是一个二元序列,且为等概率分布,即P(0)=P(1)=1/2,故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量=14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率:
信道传递矩阵为: ??P= ????
信道容量(最大信息传输率)为:
C=1-H(P)=1-H()≈
得最大信息传输速率为:
Rt ≈1500符号/秒×
≈
≈×103比特/秒
此信道10秒钟内能无失真传输得最大信息量=10× Rt ≈ ×104比特
可见,此信道10秒内能无失真传输得最大信息量小于这消息序列所
含有的信息量,故从信息传输的角度来考虑,不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布,且有如下两个信道,其转移概率矩阵分别为:
00000000????2222 ????1********** 2222???P1=?P=211 ?001??0000100?2222 ???? ?2002??00000022?
试求这两个信道的信道容量,并问这两个信道是否有噪声?
解答:
(1)由信道1的信道矩阵可知为对称信道
1100)=1bit/symbol 故C1=log24-H(22
H(X)=log24=2bit/symbol>C1有熵损失,有噪声。
(2)为对称信道,输入为等概率分布时达到信道容量
000000)=2bit/symbol C2=log28-H(22
H(X)=C2,无噪声3 、已知随即变量X和Y的联合分布如下所示:
、I(X;Y)
解:
(1) H(X):=1 H(Y):=1
(2)
(3) H(X/Y)= H(XY)-- H(Y)=-1=
(4) H(Y/X)= H(XY)-- H(X)=-1=
(5)
4、有一个可以旋转的圆盘,盘面上被均匀的分成38份,用
1,2,3,??,38数字标示,其中有2份涂绿色,18份涂黑色,圆盘停转后,盘面上指针指向某一数字和颜色。
(1)若仅对颜色感兴趣,计算平均不确定度;
(2)若对颜色和数字都感兴趣,计算平均不确定度;
(3)如果颜色已知,计算条件熵。
解:(1) H(色)=
(2) P(色数)= H(色数)=
(3) H(数/色)= H(色数)- H(色)=
5、在一个二进制信道中,信源消息集X={0,1},且P(0)=P(1),信宿的消息集Y={0,1},信道传输概率P(1/2)=1/4, P(0/1)=1/8。求:
(1)在接收端收到y=0后,所提供的关于传输消息X的平均条件互信息量I(X;y=0).