第七章 保真度准则下的信源编码.ppt

第七章保真度准则下的信源编码
第一节失真度和平均失真度
第二节信息率失真函数及其性质
第三节二元信源和离散对称信源的R(D)函数
第四节保真度准则下的信源编码定理
第五节联合有失真信源信道编码定理
第六节有失真信源编码定理的实用意义
第一节失真度和平均失真度
在实际生活中,人们不一定要求完全无失真的恢复消息,也就是允许有一定的失真。
那么在允许一定程度失真的条件下,能够把信源信息压缩到什么程度,也就是,允许一定程度失真的条件下,如何能快速的传输信息,这就是本章所要讨论的问题。
本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。
1、失真度
信源
信源编码
信道编码
信道
信道译码
信源译码
信宿
干扰
根据信道编码定理,我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道,这样收信者收到消息后,所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。
第一节失真度和平均失真度
信源
信宿
第一节失真度和平均失真度
试验信道
我们称此信道为试验信道。
现在我们要研究在给定允许失真的条件下,是否可以设计一种信源编码使信息传输率为最低。为此,我们首先讨论失真的测度。
设信源变量为,其概率分布为
对于每一对(u,v),我们指定一个非负的函数
称为单个符号的失真度(或称失真函数)
接受端变量为,
第一节失真度和平均失真度
失真函数用来表征信源发出一个符号,而在接收端再现成符号所引起的误差或失真。d越小表示失真越小,等于0表示没有失真。
可以将所有的失真函数排列成矩阵的形式:
我们称它为失真矩阵。
第一节失真度和平均失真度
例1:
失真矩阵为:
这种失真成为汉明失真
在二元情况下:
第一节失真度和平均失真度
例2:删除信源
对于二元删除信源r=2,s=3
第一节失真度和平均失真度
例3:对称信源r=s,定义失真度为:
当r=s=3时,
失真矩阵为:
第一节失真度和平均失真度
2、平均失真度
若已知试验信道的传递概率,则平均失真度为:
若平均失真度不大于我们所允许的失真D,我们称此为保真度准则。
凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合,用符号表示。
第二节信息率失真函数及其性质
1、信息率失真函数
当信源和失真函数给定后,我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在中找一个信道,使平均互信息取极小值。这个最小值就是在的条件下,信源必须传输的最小平均信息量。
改变试验信道求平均互信息的最小值,实质上是选择一种编码方式使信息传输率为最小。