信息论基础与编码课后题答案(第三章).docx

--------------------------校验:_____________-----------------------日期:_____________信息论基础与编码课后题答案(第三章)3-1设有一离散无记忆信源,其概率空间为,信源发出符号通过一干扰信道,接收符号为,信道传递矩阵为,求:(1)信源中事件和分别含有的自信息量;(2)收到消息(j=1,2)后,获得的关于(i=1,2)的信息量;(3)信源和信宿的信息熵;(4)信道疑义度和噪声熵;(5)接收到消息后获得的平均互信息量。解:(1)(2),,,(3)(4)(5)3-2设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为,错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为比特。证明:信道传输矩阵为:,信源信宿概率分布为:,(bit/符号),(bit/符号)3-3已知信源包含两种消息:,且,信道是有扰的,信宿收到的消息集合包含。给定信道矩阵为:,求平均互信息。解:I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1bit/符号符号符号符号。3-4设二元对称信道的传递矩阵为:,(1)若P(0)=,P(1)=,求,,和;(2)求该信道的信道容量及其达到信道容量时的输入概率分布。解:(1)(bit/符号),(bit/符号),(bit/符号),(bit/符号),(bit/符号),I(X;(bit/符号);(2)C=(bit/符号),最佳输入分布为:3-5求下列两个信道的信道容量,并加以比较:(1)(2)其中。解:(1)(2)两者的信道容量比较:3-6求题图3-6中信道的信道容量及最佳的输入概率分布。并求当和时的信道容量C。题图3-6解:由图知信道转移矩阵为:,此信道非对称信道,也非准对称信道,不能利用其公式计算。此信道也不能采用先假设一种输入分布,利用信道容量解的充要性来计算。但此信道矩阵是非奇异矩阵,又r=s,则可利用方程组求解:,所以解得:,,所以,,,,根据,得最佳输入分布为:,,当=0时,此信道为一一对应信道,;当。3-7有一个二元对称信道,其信道矩阵为。设该信道以1500个二元符号每秒的速率传输输入符号。现有一消息序列共有14000个二元符号,并设在这个消息中,。问从信息传输的角度来考虑,10秒内能否将这消息序列无失真地传送完?解:信道容量:C=(bit/符号),,10秒内最大信息传输能力=12880bits,消息序列含有信息量=14000bits,12880<14000,所以10秒内不能将这消息序列无失真地传送完。3-8有一离散信道,其信道转移概率如题图3-8所示,试求:(1)信道容量C;(2)若=0,求信道容量。题图3-8解:(1)(2)若,则3-9设离散信道矩阵为:,求信道容量C。解:C=(bit/符号)。3-10若有一离散非对称信道,其信道转移概率如题图3-10所示。试求:题图3-10(1)信道容量;(2)若将两个同样信道串接,求串接后的转移概率;(3)求串接后信道的信道容量。答案:(1)此信道转移概率矩阵,信道容量=符号;(2)串接后的转移概率矩阵;(3)串接后信道的信道容量=符号。3-11设有一离散级联信道如题图3-11所示。试求:题图3-11(1)与间的信道容量;(2)与间的信道容量;(3)与间的信道容量及其