信息论与编码试题集与答案(2014)改.doc

--------------------------校验:_____________-----------------------日期:_____________信息论与编码试题集与答案(2014)改1、平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量、发X前后Y的平均不确定性减少的量、通信前后整个系统不确定性减少的量。2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大,最大熵值为。3、香农公式为为保证足够大的信道容量,采用(1用频带换信噪比;(2用信噪比换频带。4、只要,当N足够长时,一定存在一种无失真编码。5、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。6、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。、可靠、安全地交换利用信息。。。10、单符号离散信源用随机变量描述,多符用随机矢量。11、一随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。12、自信息量单位比特、奈特、笛特。13、必然事件的自信息0。14、不可能事件的自信息量是∞。15、两相互独立随机变量的联合自信息量等于两个自信息量之和。16、数据处理定理:消息多级处理后,处理器数目增多,输入消息与输出之间的平均互信息量趋于变小。17、离散平稳无记忆信源X的N次扩展信源的熵等于X的熵的N倍。18、离散平稳有记忆信源的极限熵。19、n元m阶马尔可夫信源,状态空间有nm个不同状态。20、一维连续随即变量X在[a,b]内均匀分布,信源熵log2(b-a)。21、平均功率为P高斯分布连续信源,信源熵Hc(X)=。22、对限峰值功率的N维连续信源,当概率密度均匀分布时连续信源熵最大值。23、对限平均功率的一维连续信源,当概率密度高斯分布时信源熵有最大值。24、均值为0,平均功率受限连续信源,信源冗余度决定于平均功率限定值P和信源的熵功率之比。3。26、m元长度为ki,i=1,2,···n的异前置码存在的充要条件是:。27、若把掷骰子的结果作为一离散信源,则其信源熵为log26。。。30、一副充分洗乱的***牌(52张),从中任意抽取1张,然后放回,若把这一过程看作离散无记忆信源,则其信源熵为。31、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续信道。32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为无记忆信道。33、具有一一对应关系的无噪信道的信道容量C=log2n。34、强对称信道的信道容量C=log2n-Hni。35、对称信道的信道容量C=log2m-Hmi。36、对于离散无记忆信道和信源的N次扩展,=NC。37N个对立并联信道,=。41、当信道的噪声对输入的干扰作用表现为噪声和输入线性叠加时,此信道称为加性连续信道。42、高斯加性信道的信道容量C=。43、信道编码定理是一个理想编码的存在性定理,即:信道无失真传递信息的条件是信息率小于信道容量。44、信道矩阵代表信道容量C=1。45、信道矩阵代表的信道信道容量C