信息论与编码理论习题答案全解.doc

,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。解:同步信息均相同,不含信息,因此每个码字的信息量为2=23=6bit因此,信息速率为61000=6000bit/,告诉你得到的总的点数为:(a)7;(b)12。问各得到多少信息量。解:(1)可能的组合为{1,6},{2,5},{3,4},{4,3},{5,2},{6,1}==得到的信息量===(2)可能的唯一,为{6,6}=得到的信息量===***(52张),问:(a)任何一种特定的排列所给出的信息量是多少?(b)若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?解:(a)=信息量===(b)==信息量==,X表示第一颗骰子的结果,Y表示第一和第二颗骰子的点数之和,Z表示3颗骰子的点数之和,试求、、、、。解:令第一第二第三颗骰子的结果分别为,,,相互独立,则,,==6====2(36+18+12+9+)+6==-=-[-]而=,所以=2-==-=+-而=,所以=2-=====+=+=,0,1,…,9。,其余正确接收,求收到一个数字平均得到的信息量。解:=-因为输入等概,由信道条件可知,即输出等概,则=10==-=0-=--=25+845==1bit=-=10-1=5={}为一等概消息集,各消息相应被编成下述二元码字=0000,=0011,=0101,=0110,=1001,=1010,=1100,=1111通过转移概率为p的BSC传送。求:(a)接收到的第一个数字0与之间的互信息量。(b)接收到的前二个数字00与之间的互信息量。(c)接收到的前三个数字000与之间的互信息量。(d)接收到的前四个数字0000与之间的互信息量。解:即,,,=+====1+bit=====bit===3[1+]bit==、、、、。解:=2(+++++++)==-=-==-=-==-=-==-=-==-=-=,Y,Z,证明下述关系式成立(a)+,给出等号成立的条件(b)=+(c)证明:(b)=-=-=--=+(c)=-=[-][-]=-=当=,即X给定条件下,Y与Z相互独立时等号成立(a)上式(c)左右两边加上,可得++于是+,令Y是连续随机变量。已知条件概率密度为,求:(a)Y的概率密度(b)(c)若对Y做如下硬判决求,并对结果进行解释。解:(a)由已知,可得===+=(b)=====2bit=-=(c)由可得到V的分布律V-101p1/41/21/4再由可知V-101p(V|x=-1)1/21/20p(V|x=1)01/21/2bit=1bit==,相应的熵分别为和。(a)对于,证明=+是概率分布(b)是相应于分布的熵,试证明+证明:(a)由于和是同一事件集U上的两个概率分布,于是0,0=1,=1又,则=+0=+=1因此,是概率分布。(b)==(引理2)=+第三章信源编码——。证:①在元码树上,第一点节点有个,第二级有,每个节点对应一个码字,若最长码有,则函数有==,此时,所有码字对应码树中的所有节点。②码长为1的个;码长为2的个,…,码长为的个∴总共=。若对其输出的长为100的事件序列中含有两个或者少于两个的序列提供不同的码字。(a)在等长编码下,求二元码的最短码长。(b)求错误概率(误组率)。解:(a)不含的序列1个长为100的序列中含有1个的序列=100个长为100的序列中含有2个的序列=4950个∴所需提供码的总数M=1+100+4950=5051于是采用二元等长编码=,故取=13(b)当长度为100的序列中含有两个或更多的时出现错误,因此错误概率为=-=,U=,其熵为。考察其长为的输出序列,当时满足下式(a)在=,=(b)在=,=下求(c)令是序列的集合,其中试求L=时情况(a)(b)下,T中元素个数的上下限。解:======-==