信息论与编码第二章课后习题答案.pdf

: .
为：
I = log18 » 比特
【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有
多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多
少信息量（假设已知星期一至星期日的顺序）？
解：
如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为
1
P = ，因此此时从答案中获得的信息量为
7
I = log7 = 比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得
的信息量为 0 比特。
【】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 米以上的，
而女孩中身高 米以上的占总数一半。假如我们得知“身高 米以上的某女孩是大学
生”的消息，问获得多少信息量？
解：
设 A 表示女孩是大学生， P(A) = ；
B表示女孩身高 米以上， P(B | A) = ， P(B) =
“身高 米以上的某女孩是大学生”的发生概率为P(AB) P(A)P(B | A) ´
P(A | B) = = = =
P(B) P(B)
已知该事件所能获得的信息量为
1
I = log » 比特

é X ù éa1 = 0 a2 =1 a3 = 2 a4 =3ù
【】设离散无记忆信源 ê ú = ê ú ，其发出的消息为
ëP(x)û ë 3/8 1/4 1/4 1/8 û
（202120130213001203210110321010021032011223210），求
（1） 此消息的自信息是多少？
（2） 在此消息中平均每个符号携带的信息量是多少？
解：
信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息
即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：
8
I(a = 0) = log =
0 3
I(a1 = 1) = log 4 = 2比特
I(a2 = 2) = log 4 = 2 比特
I(a3 = 3) = log8 = 3比特
在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”
符号，则得到消息的自信息为：
I = 14 ´ +13´ 2 +12´ 2 + 6´ 3 »
45 个符号共携带 87