1-2 通信系统主要性能指标（精选）.ppt

第1章通信系统基础知识
消息中包含信息量的大小应该与消息出现的概率有关系。
I =I [P(x)]
信息及其度量
信息度量方法的产生
符合条件:
1> P(x) ,I ; P(x) ,I ;
2> P(x) = 1时,I = 0; P(x) = 0时,I = ;
3>
满足上述3条件的关系式如下:
信息及其度量
上式中对数的底:
若a = 2,信息量的单位称为比特(bit) ,
若a = e,信息量的单位称为奈特(nat),
若 a = 10,信息量的单位称为哈特莱(Hartley) 。
使用最广泛的单位为比特,这时有:
信息量的定义
信息及其度量
【例1】设一个二进制离散信源,以相等的概率发送数字“0”或“1”,则信源输出每个数字所含的信息量为?
信息及其度量
1. 各消息独立等概
若某信源可以产生M种等概率波形(P = 1/M),且每一个波形的出现是独立的,则信源产生M种波形之一所包含的信息量为:

称为该信源的单消息平均信息量。
信息及其度量
信源的单消息平均信息量
2. 各消息独立非等概
设一个离散信源可以产生M种符号,其中每个符号xi (i = 1, 2, 3, …, M)按一定的概率P(xi)独立出现,即:
且
信息及其度量
则信源产生一个符号所含的平均信息量为:
H(x)通常也称为信息源的熵。
信息及其度量
【例2】一离散信源由“0”,“1”,“2”,“3”四个符号组成,它们出现的概率分别为3/8,1/4,1/4,1/8,且每个符号的出现都是独立的。试求某消息序列201020130213012032101003210100231020020
10312032100120210的信息量、及信源发送某一个符号的平均信息量。
解:(1)采用求信源熵的计算方法计算信源产生一个符号的平均信息量。
信息及其度量
(2)采用算术平均的方法计算信源的平均信息量。此消息中,“0”出现23次,“1”出现14次,“2”出现13次,“3”出现7次,共有57个符号,故该消息的总信息量为:

则信源发出某一个符号的平均信息量为:
信息及其度量