信息论与编码习题答案.doc

--------------------------校验:_____________-----------------------日期:_____________信息论与编码****题答案第二章解:四进制脉冲可以表示4个不同的消息,例如:{0,1,2,3}八进制脉冲可以表示8个不同的消息,例如:{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息,例如:{0,1}假设每个消息的发出都是等概率的,则:四进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量所以:四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量X代表女孩子学历Xx1(是大学生)x2(不是大学生)P(X)设随机变量Y代表女孩子身高Yy1(身高>160cm)y2(身高<160cm)P(Y)已知:在女大学生中有75%是身高160厘米以上的即:求:身高160厘米以上的某女孩是大学生的信息量即:(1)任一特定排列所给出的信息量是多少?(2)若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?解:(1)52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:(2)52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:,其发出的信息为(202120130213001203210110321010021032011223210),求(1)此消息的自信息量是多少?(2)此消息中平均每符号携带的信息量是多少?解:(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:此消息的信息量是:(2)此消息中平均每符号携带的信息量是:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?解:男士:女士:,求这个信源的熵,并解释为什么H(X)>log6不满足信源熵的极值性。解:不满足极值性的原因是。H(X3/X1X2)≤H(X3/X1),并说明当X1,X2,X3是马氏链时等式成立。证明:H(X1X2。。。Xn)≤H(X1)+H(X2)+…+H(Xn)。证明:(1)试问这个信源是否是平稳的?(2)试计算H(X2),H(X3/X1X2)及H∞;(3)试计算H(X4)并写出X4信源中可能有的所有符号。解:(1)这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”(2)(3)X的符号集为{0,1,2}。(1)求平稳后信源的概率分布;(2)求信源的熵H∞。解:(1)(2)X={黑,白}。设黑色出现的概率为P(黑)P(白)(1)假设图上黑白消息出现前后没有关联,求熵H(X);(2)假设消息前后有关联,其依赖关系为P(白/白)P(黑/白)P(白/黑)P(黑/黑)H2(X);(3)分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小,并说明其物理含义。解:(1)(2)(3) H(X)>H2(X)表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。(1)“3和5同时出现”这事件的自信息;(2)“两个1同时出现”这事件的自信息;(3)两个点数的各种组合(无序)对的熵和平均信息量;(4)两个点数之和(即2,3,…,12构成的子集)的熵;(5)两个点数中至少有一个是1的自信息量。解:(1)(2)(3)两个点数的排列如下:1112131415162122232425263132333435364142434445465152535455566**********共有21种组合:其中11,22,33,44,55,66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:(5)P(0)=1/4,P(1)=3/4。(1)求符号的平均熵;(2)有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100-m)个“1”)的自信息量的表达式;(3)计算(2)中序列的熵。解:(1)(2)(3)若把这些频度看作概率测度,求:(1)忙闲的无条件熵;(2)天气状态和气温状态已知时忙闲的条件熵;(3)从天气状态和气温状态获得的关于忙闲的信息。解:(1)根据忙闲的频率,得到忙闲的概率分布如下:(2)设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z(3)X和Y,它们的联合概率为YXx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z=XY(一般乘积),试计算:(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ);(2)H(X/Y),H(Y/X),H