1-2 通信系统主要性能指标.ppt

信息及其度量 通信系统主要性能指标第1章通信系统基础知识消息中包含信息量的大小应该与消息出现的概率有关系。 I = I [P(x )] 信息及其度量信息度量方法的产生符合条件: 1> P (x ) ?, I ?;P(x ) ?, I ?; 2> P(x ) = 1 时, I=0;P(x ) = 0 时, I=?; 3> 满足上述 3条件的关系式如下: 信息及其度量)( log )( 1 logxPxP I a a????????)]([ )]([])()([ 2 1 21xPIxPIxPxPI?上式中对数的底: 若a = 2 ,信息量的单位称为比特(bit) , 若a = e,信息量的单位称为奈特(nat) , 若a = 10 ,信息量的单位称为哈特莱(Hartley) 。?使用最广泛的单位为比特,这时有: 信息量的定义)( log )( 1 logxPxP I a a??? 2 2 1 log log ( ) ( ) I P x P x ? ?? 信息及其度量【例1】设一个二进制离散信源,以相等的概率发送数字“0”或“1”,则信源输出每个数字所含的信息量为? )(12 log 2/1 1 log )0( 1 log )0( 2 2 2 bit p I????解: 信息及其度量)(1)0()1( bit II?? 1. 各消息独立等概?若某信源可以产生 M种等概率波形( P = 1/ M), 且每一个波形的出现是独立的,则信源产生 M种波形之一所包含的信息量为: 称为该信源的单消息平均信息量。) bit ( log /1 1 log )( 1 log 2 2 2M M iP I??? 信息及其度量信源的单消息平均信息量 2. 各消息独立非等概?设一个离散信源可以产生 M种符号,其中每个符号x i ( i = 1, 2, 3, …, M)按一定的概率 P(x i)独立出现, 即: 且?????? 1 2 1 2 , , , , , , MM x x x P x P x P x ? ?? ?? ??? 1 ( ) 1 Mii P x ??? 信息及其度量则信源产生一个符号所含的平均信息量为: ? H(x) 通常也称为信息源的熵。 1 2 1 2 2 2 2 21 ( ) ( )[ log ( )] ( )[ log ( )] ( )[ log ( )] ( ) g ( ) ( / ( 6) M M M i i i H x P x P x P x P x P x P x P x lo P x ?? ? ??????? ???比特符号) 信息及其度量【例2】一离散信源由“0”,“1”,“2”,“3”四个符号组成,它们出现的概率分别为 3/8 , 1/4 , 1/4 , 1/8 ,且每个符号的出现都是独立的。试求某消息序列 201020130213012032101003210100231020020 10312032100120210 的信息量、及信源发送某一个符号的平均信息量。解: (1)采用求信源熵的计算方法计算信源产生一个符号的平均信息量。 信息及其度量符号) (比特/ 906 .1 8 1 log 8 14 1 log 4 14 1 log 4 18 3 log 8 3 2222??????H (2)采用算术平均的方法计算信源的平均信息量。此消息中, “0”出现 23 次, “1”出现 14 次, “2”出现 13 次, “3”出现 7次,共有 57 个符号,故该消息的总信息量为: 则信源发出某一个符号的平均信息量为: 符号) 比特符号数/( 89 .1 57 108 ??? II 信息及其度量) bit ( 108 8 log 74 log 13 4 log 14 3/8 log 23 222 2?????I )( 57 906 .1 bit I???