2 信源及其熵.ppt

第第2 2章章信源及其熵信源及其熵第2章信源及其熵? 信源的数学模型和分类? 离散信源的信息熵及其性质? 离散无记忆信源的扩展信源? 离散平稳信源? 连续信源的信息熵? 信源的冗余度? 离散无失真信源编码定理?本章介绍?信源的统计特性和数学模型?各类信源的信息测度---- 熵及其性质?引入信息理论的一些基本概念和重要结论第一章的几个推论?通信系统模型: 信源编码器信道译码器噪声源信宿干扰消息信号信号+干扰消息?对信息论的学****可从信源开始?消息是信息的载荷者。信息是抽象的,消息是具体的。要研究信息,还得从研究消息入手。?由于信源发送什么消息预先是不可知的,只能用概率空间来描述信源 信源的数学模型信源--- 随机变量( random variable ) 随机矢量( random vector ) 随机过程( random process ) 概率空间 信源的数学模型和分类 信源的分类?单符号信源:输出是单个符号(代码)的消息?离散信源?连续信源?平稳随机序列信源: 信源输出的消息由一系列符号序列所组成,可用 N维随机矢量 X= (X 1,X 2,…,X N)描述,且随机矢量 X X 的各维概率分布都与时间起点无关--平稳 stationary ?离散平稳信源?连续平稳信源?无记忆(独立)离散平稳信源?有记忆信源?m阶马尔可夫信源?随机波形信源?离散信源 discrete source (1)单个符号的离散无记忆信源 memoryless (2)符号序列的离散无记忆信源(3)符号序列的离散记忆信源(4)符号序列的 Markov 源?连续信源 continuous source (1)连续平稳信源(2)随机波形信源离散信源(单符号) ?特点: 输出是单个符号(代码)的消息,符号集的取值 A: {a 1,a 2,…,a q}是有限的或可数的,可用一维离散型随机变量 X来描述。?例: 投硬币、书信、电报符号等等。?数学模型: 设每个信源符号 a i出现的(先验)概率 p(a i ) (i =1,2, …,q)满足: ?????????????)(......)()()( ...... )( 则 321 321 q qaPaPaPaP aaaaxP X: 1)( 1??? qi iap?概率空间能表征离散信源的统计特性,因此也称概率空间为信源空间。连续信源?特点:输出是单个符号(代码)的消息, 输出消息的符号集 A的取值连续,可用一维连续型随机变量 X来描述。?例:语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。?数学模型:连续型的概率空间。即: ?????????????)( ),()(xp baxp X或或??????)(xp R 满足满足或或 1)(?? ba dx xp 1)(?? Rdx xp平稳随机序列信源?总体特点: 信源输出的消息由一系列符号序列组成,可用 N维随机矢量 X= (X 1,X 2,…,X N)描述,且各维概率分布都与时间起点无关平稳!! ?离散平稳信源:每个随机变量 X X i (i=1,2, …,N) 都是离散型随机变量?连续平稳信源:每个随机变量 X X i (i=1,2, …,N) 都是取值连续的随机变量