信息论与编码 曹雪虹 第4章.ppt

信息论与编码_曹雪虹__第4章第4章　信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D） 。
平均失真和信息率失真函数
离散信源和连续信源的R（D）计算
1
(1) “消息完全无失真传送”的可实现性
信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若R>C，则传输总要失真。
完全无失真传送不可实现：
实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大；
实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量R>>C。
引 言
基本概念
有失真信源编码的意义
2
(2) 实际中允许一定程度的失真
技术发展的需要
随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。
人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息 集合占用的空间域、时间域和频率域资源。
引 言
基本概念
3
实际生活中的需要
实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。
例如打 ：即使语音信号有一些失真，接 的人也能听懂。人耳接收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。
有些失真没有必要完全消除。
引 言
基本概念
4
限失真编码：信源编码经过译码后能保留应用要求的信息，允许信源有一定的失真。
那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。
5
平均失真和信息率失真函数
失真函数
平均失真
信息率失真函数R(D)
信息率失真函数的性质
6
平均失真和信息率失真函数
在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。
7
1、失真函数
信源
信源编码
信道编码
信道
信道译码
信源译码
信宿
干扰
根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。
失真函数
8
我们称此信道为试验信道。
现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。
失真函数
9
失真函数定义
信源 经过信源编码后输出

对于每一对( xi , yj ) , 指定一个非负函数
d ( xi , yj ) ≥ 0 i = 1 , 2 , … , n j = 1 , 2 , … , m
称 d ( xi , yj ) 为单个符号的失真函数. 表示信源发出符号 xi , 接收端再现 yj 所引起的误差或失真. d越小表示失真越小：
d ( xi , yj ) = 0 无失真 , d ( xi , yj ) > 0 有失真.
10