总结与复习2012 6.ppt

总结与复习2012_6信息论与编码总结与复****2012信息学院信息工程教研室牛秋娜葡抱网至钎跺桥钢每纽痒垢相零悯蛰澡贩拙样环丘搔谨尺和菊卉洪互墓裔总结与复****2012_6总结与复****2012_6本课程主要内容一个理论和三个编码:理论--------香农信息论编码--------信源编码信道编码保密编码匆酗更飘觅呜脚慑窖身商涣掠状搽粒觉桐寡酞抄卒厢或涤听丧草雇距奥翅总结与复****2012_6总结与复****2012_6第一部分、:1、信息的定义:(1)自信息I=log(1/p)=-logp(2)信息量=通信所消除掉的不确定度=通信前的不确定度-通信后的不确定度(3)信息的单位:对数的底取2时,自信息的单位叫比特(bit)。第一部分、、信息熵的定义:(1)离散信源(2)连续信源第一部分、、信息熵的特点(1)非负性:H(X)≥0(2)对称性:H(p1p2……)=H(p2p1……)(3)极值性:《1》离散信源各符号等概率时出现极大值:H0=logm《2》连续信源信号幅度受限时均匀分布出现极大值:hmax(X)=log(b-a);《3》连续信源信号方差有限时高斯分布出现极大值:第一部分、、离散序列的信息熵(1)无记忆信源的联合熵与单符号熵:H(X1X2……XN)=H(X1)+H(X2)+H(X3)+……+H(XN)=NH(X1)(2)有记忆信源的联合熵与条件熵:H(X1X2……XN)=H(X1)+H(X2|X1)+H(X3|X1X2)+……+H(XN|X1X2……XN-1)(3)平均符号熵:HN=H(X1X2……XN)/N第一部分、(4)序列信息熵的性质:《1》条件熵不大于无条件熵,强条件熵不大于弱条件熵:H(X1)≥H(X2|X1)≥H(X3|X1X2)≥………≥H(XN|X1X2……XN-1)《2》条件熵不大于同阶的平均符号熵:HN≥H(XN|X1X2……XN-1)《3》序列越长,平均每个符号的信息熵就越小:H1≥H2≥H3≥……≥HN总之:H0>H1≥H2≥H3≥……≥HN≥H∞(无记忆信源取等号。)第一部分、、、马尔可夫信源的信息熵(1)马尔可夫信源的数学模型和定义:N阶马尔可夫信源的关联长度是N+1,N+2以外不关联。(2)状态、状态转移与稳态概率:状态、状态转移、状态转移图、稳定状态、稳态方程(3)稳态符号概率:结论:N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。(4)稳态信息熵:赶菱揽贡让狄口侦睡惰务冉居逼咯弹陌予忘鄙觅伺芒母销巨梯章赢紧伙闲总结与复****2012_6总结与复****2012_6[例1]已知二阶马尔可夫信源的条件概率:p(0|00)=p(1|11)=;p(0|01)=p(1|10)=;求稳态概率、稳态符号概率、稳态符号熵和稳态信息熵。解:二阶马氏信源关联长度=3,状态由2符号组成,共有4个状态,分别为:E1=00;E2=01;E3=10;E4=11;已知的条件概率即是:p(0|E1)=p(1|E4)=;p(0|E2)=p(1|E3)=;根据归一化条件可求出另外4个状态符号依赖关系为:p(1|E1)=p(0|E4)=;p(1|E2)=p(0|E3)=;第一部分、:::::::::第一部分、