信息论第七讲率失真函数课件.ppt

该【信息论第七讲率失真函数课件 】是由【yzhluyin9】上传分享，文档一共【45】页，该文档可以免费在线阅读，需要了解更多关于【信息论第七讲率失真函数课件 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。(RateDistortionFunction)
引言
上面我们介绍的编码也称为无失真编码(无损编码),另外一类编码称为限失真编码(有损编码)。
率失真理论研究的就是在允许一定失真的前提下,对信源的压缩编码。
率失真信源编码定理(香农第三定理)指出:率失真函数R(D)就是在给定失真测度条件下,对信源压缩的最低程度。也就是说:为了提高传输效率,可以给定一个失真度,求出在平均失真小于给定值的条件下,信源所能压缩的程度的极限值,即率失真函数R(D)。
Date
1


(1)符号失真度
设单符号离散无记忆信源、信宿及信道为:
DMC
X
Y
Date
2

定义:
对每一对(xi,yj),指定一个非负函数
d(xi,yj)≥0i=1,2,…,nj=1,2,…,m
称d(xi,yj)为符号失真度(失真函数)。
符号失真度表示信源发出一个符号xi,在接收端再现yj所引起的误差或失真。
Date
3

(3)平均失真度意义
它是在平均意义上,对整个系统失真情况的总体描述。
它是信源统计特性p(xi)、信道统计特性p(yj/xi)和失真度d(xi,yj)的函数。
当p(xi),p(yj/xi)和d(xi,yj)给定后,平均失真度就是一个确定的量。
如果信源和失真度一定,它就只是信道统计特性的函数。信道不同,平均失真度随之改变。
Date
5

(4)失真度描述
失真度一般用失真度矩阵来描述。
Date
6

例:汉明(Hamming)失真度
X={x1,x2,…,xn},Y={y1,y2,…,yn},约定失真度
用矩阵表示为
式中dij≥0i,j=1,2,…,n为信源方发送符号xi而信宿方判为yj引起的失真度。
Date
7

例:平方误差失真度
X={0,1,2},Y={0,1,2},
给出失真度dij=(xi-yj)2i,j=0,1,2
则失真度矩阵为
Date
8

(1)允许失真度D
对于单符号离散无记忆信源X、信宿Y及信道P(Y/X):
给定信源X概率分布p(x)和失真度矩阵[d]=[dij],如果信道转移概率矩阵[P]=[p(Y/X)]满足如下关系,则式中的D则称为允许失真度,关系式称为保真度准则。

Date
10

(3)率失真函数的含义
通过选择合适的信道转移概率p(y/x)(实际上选择某种信道编码方法),在满足一定的失真度要求前提下(平均失真度<允许失真度D),使平均交互信息量达到最小值R(D)。
率失真函数表明了在满足平均失真度小于D条件下,信源传输信息量(信息速率)可压缩的最低程度。
在信源和失真度给定以后,存在满足保真度准则的信道集合,一定有某个信道,使I(X;Y)达到最小。
Date
12

D的最大值Dmax
当R(D)达到其最小值Rmin(D)=0时,对应的失真最大,这种情况下D对应着R(D)函数定义域的上界值Dmax。
D
Dmax
0
Dmin
H(X)
R(D)
Date
14