【最新】信息论基础》试卷(期末a卷.doc

信息论根底?试卷(期末A卷
重庆邮电大学2023/2023学年2学期
?信息论根底?试卷〔期末〕〔A卷〕〔半开卷〕
一、填空题〔本大题共10小空，每小空1分，共20分〕

信息论根底?试卷(期末A卷
重庆邮电大学2023/2023学年2学期
?信息论根底?试卷〔期末〕〔A卷〕〔半开卷〕
一、填空题〔本大题共10小空，每小空1分，共20分〕
，可将离散信源分为有记忆信源和无记忆信源两大类。

，其概率分布为，%；假设对该信源进行十次扩展，那么每十个符号的平均信息量是 15bit。
，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。假设消息从放大器中输出，那么该信源的绝对熵是；其能在每个自由度熵的最大熵是log〔b-a〕bit/自由度；假设放大器的最高频率为F，那么单位时间内输出的最大信息量是 2Flog〔b-a〕bit/s.
5. 假设某一 信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为；与其熵相等的非高斯分布信源的功率为
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵〔或H(S)/logr= Hr(S)〕。
8、当R=C或〔信道剩余度为0〕时，信源与信道到达匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“〞或“〞
〔1〕当X和Y相互独立时，H〔XY〕=H(X)+H(X/Y)。
〔2〕假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
，该消息包含的信息量是多少？
，该消息包含的信息量是多少？
？
解：〔“点数和为3”〕=P〔1,2〕+ P〔1,2〕=1/36+1/36=1/18
那么该消息包含的信息量是：I=-logP〔“点数和为3”〕=log18=
〔“点数和为7”〕=P〔1,6〕+ P〔6,1〕+ P〔5,2〕+ P〔2,5〕+ P〔3,4〕+ P〔4,3〕=1/36 6=1/6
那么该消息包含的信息量是：I=-logP〔“点数和为7”〕=log6=
〔“两个点数没有一个是1”〕=1-P〔“两个点数中至少有一个是1”〕
=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36
那么该消息包含的信息量是：I=-logP〔“两个点数中没有一个是1”〕=log25/36=
三、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX〔一般乘积〕。试计算：
〔Y〕