信息论可能考到的填空题及问答题.doc

离散信源:离散随机变量描述输出消息的信源;平稳信源分为无记忆信源有记忆信源
事件发生的概率越小,不确定性越大;I(ai)的含义:①事件发生以前表示事件发生的不确定性②事件发生以后表示事件所含有的信息量。
熵H(X)的物理意义:①信源输出前信源的平均不确定性②信源输出后每个消息提供的平均信息量③表征变量X的随机性。H(XN)=NH(X)
熵的性质:对称性,确定性,非负性,扩展性,可加性H(XY)=H(X)+H(Y),强可加性H(XY)=H(X)+H(Y|X),递增性,极值性只有信源等概率分布时熵最大,上凸性。
信源剩余度表示信源的相关性程度,剩余度越大,信源符号间依赖关系越弱,符号之间的记忆长度越短。γ=1-H∞/logq
互信息I(x;y)表示收到y后获得关于事件x的信息量,平均互信息I(X;Y)是互信息I(x;y)在两个概率空间X和Y中求统计平均的结果。
I(X;Y)=H(X)-H(X |Y)损失熵=H(Y)-H(Y |X)噪声熵=H(X)+H(Y)-H(XY)
平均互信息性质:非负性,极值性,交互性,凸状性
平均互信息是输入信源概率分布P(x)的上凸函数,是信道传递概率P(y |x)的下凸函数
无噪无损信道和无损信道的信道容量是logr,有噪无损的信道容量是logs,二元对称信道的容量是1-H(p)
离散无记忆的N次扩展信道的信道容量等于原单符号离散信道信道容量的N倍,独立并联信道的C不大于各个信道的C之和
若X,Y,Z组成一个马尔科夫链,则I(X;Z) ≦I(X;Y),I(X;Z) ≦I(Y;Z)
信道剩余度=C- I(X;Y),相对剩余度=1- I(X;Y)/C
信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
自信息的符号是bit,熵,互信息,信道传输率,信道容量的单位都是bit/符号
连续信源:用连续随机变量描述输出消息的信源
均匀分与连续信源熵值:log(b-a),高斯信源熵值:(log2πeP)/2,指数分布熵值:logae
差熵的性质:可加性,上凸性,可取负值,变换性,极值性
峰值功率受限条件下均匀分布信源的熵最大,平均功率受限条件下高斯分布信源的熵最大
共有rs种译码规则可供选择。平均失真度与信源,信道以及失真函数有关;
率失真函数的物理意义:在满足保真度准则的条件下,信息传输率的最小值即为信源必须传递给接收端平均信息量的最小值,若再小,接收端就不能满意的重现信源信息。率失真函数与信道容量对偶性。性质:定义域(0,Dmax),单调递减,上凸函数
信源编码是对输入信息进行编码,优化信息和压缩信息并且打成符合标准的数据包,提高信息传输的效率。信道编码是在数据中加入验证码,并且把加入验证码的数据进行调制
,提高信息传输的可靠性。
香农第一定理(可变长无失真信源编码定理):设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)