ITD第四章限失真信源编码2.ppt

第十一讲
2003年6月
11/10/2017
1
信息率失真函数的性质
(D)函数的定义域?
R(D)函数的定义域
D [0,Dmax]
11/10/2017
2
说明:
(1) 由于D是非负实数d(x,y)的数学期望,因此D也是非负的实数,非负实数的下界是零, 所以D的下界是零.
(2) R(D)= R(0)=H(X)
对应于无失真情况,相当于无噪声信道, 此时信道传输的信息量等于信源熵
11/10/2017
3
(3) 对于连续信源来说,由于其信源熵只有相对意义,而真正的熵为,当D=0时相当于严格无噪声信道,通过无噪声信道的熵是不变的,所以
R(D)=R(0)=Hc(x)= ∞
因为实际信道总是有干扰的,其容量有限,要无失真地传送这种连续信息是不可能的。当允许有一定失真时,R(D)将为有限值,传送才是可能的。
11/10/2017
4
(4) 由于I(X;Y)是非负函数,而R(D) 是在约束条件下的I(X;Y)的最小值,所以R(D)也是一个非负函数,它的下限值是零。取满足R(D)=0的所有D中最小的,定义为R(D)定义域的上限Dmax,, 即Dmax是满足R(D)=0的所有平均失真D中的最小值。因此可以得到R(D)的定义域为D[0,Dmax]。
11/10/2017
5
(5) 如何计算Dmax?
R(D)=0就是I(X;Y)=0,这时试验信道输人与输出是互相独立的,所以条件概率p(yj/xi)与xi无关。即
Pij=P(yj/xi)=P(yj)=pj
这时平均失真为

式中dij=d(xi,yj)
11/10/2017
6
11/10/2017
7
例4-1-4
设输人输出符号表为X=Y={0,1},输人概率分布p(X)={1/3,2/3},失真矩阵为
求Dmax
11/10/2017
8
解:
(输出符号概率:p(y1)=0,p(y2)=1)
■
11/10/2017
9
例4-1-5
设输人输出符号表为X=Y={0,1},输人概率分布p(X)={1/3,2/3},失真矩阵为
试求Dmax
11/10/2017
10