率失真函数理论及限失真信源编码.ppt

率失真函数理论及限失真信源编码
第一页，共71页
第六章：限失真信源编码
§6. 1 信息率失真函数的基本概念与定义
(The Basic Concepts and Definitions of Rate-Distortion Function)
到目前为止，从数学角度看我们所讲的《信息论》的
内容也仅有两个最基本的概念；而由这两概念出发，引出
了一系列的概念和应用的讨论。
下面我们将这些概念、定义相继出现的思路作一介绍：
随机事件
自信息
(不确定度)
平均不确定度
平均不确定
度的解除量
最大传
信率
下的最小传信率
满足失真
要求
第二页，共71页
§6. 1 率失真函数的基本概念与定义
①. 有关对信源的客观描述即H(X) 问题，注意这种描述是与信道、
信宿无关，它仅反映信源本身含有信息的度量和它发送信息的能力。
② . 指如何描述给定信道的功能特征，这也是在与信源、信宿无
关的条件下，纯客观地评价一个信道固有特性问题。即，C 是反映
当给定信道后与某种信源处于最佳匹配时的最大信息传输量问题。
③. 指了解信宿与信源之间的某种需求并且体现与信道无关的客
观描述——R(D) 信息率失真函数。
如果从系统模型来看我们也只讲了两个内容：
信 源
Source
信 道
Channel
信 宿
Destination
X
Y
第三页，共71页
§6. 1 率失真函数的基本概念与定义
由于我们学****的是窄义信息论(Special Information Theorem)
是要求从事物的客观性(objectivity)出发讨论问题，而不涉及它的
主观性(subjectivity) 。但对于信宿而言，它是系统中依赖于主观
性最多的部分。一般来说Shannon’s信息论是不具体讨论信宿问题，
最多采用使它理想化(idealize)的策略来描述系统中一种固有的信
源与信宿间的匹配关系。换句话说，是去掉了信宿中的主观因素，
而后讨论仍属于窄义信息论的问题。
对于R(D) 率失真函数的概念，从数学上讲它是一个与信道容
量相对偶(dual problem)的数学问题。即，一个是求某种条件下互
信息的最大值问题；而另一个是求某种条件下互信息的极小值问
题。所以它们都是互信息的条件极值问题。
但是从物理概念上看，率失真函数它反映的是实际信源与理
想化信宿之间的某种依赖关系。即实际中存在的信息率与失真程
度间的关系，因为在源端所发出的信息率越高，则在收端所收到
第四页，共71页
§6. 1 率失真函数的基本概念与定义
的信息损失才能越少。比如：语音源是发出速码率为R＝64kbit/s
的语声信号时，对于人耳来说应该几乎没有失真；而当速码率降
低为R＝32kbit/s时，人耳就会对此类语声信息的接受产生失真影
响，如感觉到沙沙声，但有这点失真也无妨，因为它对人类的理
解毫无影响；如果再进一步降低信息率，若R＝16kbit/s 时，则明
显感到失真加大，听起来费劲；如果再低当R＝8kbit/s 时，人类
的听觉器官就可能不适应，甚至时间一长会厌烦此类信号，因为
它不仅带来了语声清晰度的失真，而且也大大影响了可懂度方面
的效果。因此信息率R与失真程度之间的确存在某种依赖关系，
问题时如何用某种数学方法将它描述。
问题的另一方面是如何用数学关系式定量地描述失真限度，
即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受
的失真程度。所以这种数学描述的第一步是如何将失真程度的大
小定量地给出；其次才是能否在失真度D定义给出之后，找到一
第五页，共71页
§6. 1 率失真函数的基本概念与定义
种信息率的性能界限：R(D);使得信宿在R>R(D)时，收到信息后
所产生的失真应不会大于所给定的失真要求D。一旦R<R(D)以后
实际失真将必定大于失真要求D。
这种信源与信宿的依存关系，就是与信道无关的条件下，所
要讨论的率失真函数的概念。
一、失真度的定义: ( The Definition of Distortion Function )
所谓失真函数或失真度，即信息传输中所产生的失真。可采
用以下数学方法描述：如果用 d(x,y) 表示当发端为x，而收端为
y 时所定义的某种误差代价；或者是当用y 来代替x 时，所定量的失真度。具体的讲，对于离散信源设发端 ;
收端： ；当发 时收到 符号