信息论试卷题目及答案.doc

:..--------------------------校验:_____________-----------------------日期:_____________信息论试卷题目及答案中国海洋大学2008—2009学年第一学期一、填空题(每空2分,共20分)1、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。3、离散平稳无记忆信源的次扩展信源的熵等于离散信源的熵的N倍。4、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是香农编码。5、信道输入与输出间的平均互信息是信道转移概率的下凸函数,是输入概率的 上凸函数。6、信道矩阵代表的信道的信道容量C=,达到信道容量的条件是输入符号等概分布。7、设某二进制码{00011,10110,01101,11000,10010,10001},则码的最小距离是2,假设码字等概分布,则该码的码率为比特/符号,这时若通过二元对称信道接收码字为01100和00110时,应译为01101,10110。。二、判断题(每题2分,共10分)1、必然事件和不可能事件的自信息量都是0。(错)2、最大后验概率准则与最大似然准则是等价的。(错)3、如果信息传输速率大于信道容量,就不存在使传输差错率任意小的信道编码。(对)4、连续信源和离散信源的熵都具有非负性。(错)5、相同功率的噪声中,高斯噪声使信道容量最小。(对)三、简答题(第1、2题各6分,第三题10分,共22分)1、简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是什么?答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。(3分)最大熵值为(3分)2、对于任意概率事件集X、Y、Z,证明下述三角不等式成立证:因为,(3分)所以: (3分)所以原命题得证。3、什么是保真度准则?对二元信源,其失真矩阵,求时率失真函数的和?答:1)保真度准则为:平均失真度不大于允许的失真度。(3分)2)因为失真矩阵中每行都有一个0,所以有(2分),而。(5分)四、计算题(第1、2、3题每题15分,第4题10分,共55分)1、。答:(1)信源模型为(5分)(5分)(2)由()(3分)可得得 (3分)则(4分)2、设有一离散信道,其信道矩阵为,求(1)最佳概率分布?(2)当,时,求平均互信息和信道疑义度;(3)输入为等概分布时,试写出一译码规则,使平均译码错误率最小,并求此。答:(1)是准对称信道,因此其最佳输入概率分布为(2分)(2)由已知的输入概率空间和信道转移概率,可求得输出概率(2分)(2分)(2分)(2分)平均互信息(2分)(2分)信道疑义度(2分)(3)此时可用最大似然译码准则,译码规则为,,(2分)平均译码错误率(2分)3、(共20分)某离散无记忆信源符号集为,所对应的概率分别为:,,,,,,,,,码符号集为{0,1,2,3}。1)     求信源的熵H(X)及信源剩余度;(2+2=4分)信源的熵: