信息论与编码课后作业答案.doc

--------------------------校验:_____________-----------------------日期:_____________信息论与编码课后作业答案,其发出的信息为(202120130213001203210110321010021032011223210),求(1)此消息的自信息量是多少?(2)此消息中平均每符号携带的信息量是多少?解:(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:此消息的信息量是:(2)此消息中平均每符号携带的信息量是:若把这些频度看作概率测度,求:(1)忙闲的无条件熵;(2)天气状态和气温状态已知时忙闲的条件熵;(3)从天气状态和气温状态获得的关于忙闲的信息。解:(1)根据忙闲的频率,得到忙闲的概率分布如下:(2)设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z(3)1有两个二元随机变量X和Y,它们的联合概率为YXx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z=XY(一般乘积),试计算:(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ);(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY);(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。解:(1)Z=XY的概率分布如下:(2)(3)(1)试问这个信源是否是平稳的?(2)试计算H(X2),H(X3/X1X2)及H∞;(3)试计算H(X4)并写出X4信源中可能有的所有符号。解:(1)这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”(2)(3)6一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0,1,2}。(1)求平稳后信源的概率分布;(2)求信源的熵H∞。解:(1)(2)