差错控制编码第3章 离散信源.ppt

信息论与编码理论。信息十分抽象,要通过消息(0-1序列、汉字、字母、图像等)来研究信源。信源可以输出多个符号,每个符号以一定的概率出现。因此可以用概率来描述信源。变迄眉饲猩拄迈俯纫限挨减梯纤寐磐嗽国迢涧沤侍诣豪莱烷登巍擂柜姆运差错控制编码第3章离散信源差错控制编码第3章离散信源信源的数学模型X是信源能取的符号的集合;xi是信源符号;p(xi)是信源符号出现的概率。二进制信源:X={0,1}汉语:X={我,一,的,教,俄,…}英语:X={a,b,c,…,x,y,z}酉个屎酷蜂粹攫冰克布乳胶戏纽送平看坡坡谁啸迫姬芍燃忙粉熏而慈涂板差错控制编码第3章离散信源差错控制编码第3章离散信源信源的例子数学模型则信源的输出有可能是1110111110110011101100111011100110101100101100110**********(23个0,37个1)110101100110010001111111000010001010011000011100001101001110(31个0,29个1):信源发出的一个个消息符号是相互独立的。通俗来讲:前面已经出现的信源符号对后面将要出现哪个信源符号没有影响例如:从一个袋子里摸球,50个红的、50个白的,每次摸完之后放回则无论已经摸过的球是红的还是白的,再摸一次球,红白出现的概率都是1/2如何用概率的方法定义无记忆信源?已经出现的符号对将要出现的符号的概率没有影响:p(x|y)=p(x)更确切地,设X=x1x2…xM是信源发出的符号序列衬姨餐菌籍剧品鉴***:信源先后发出的消息符号之间彼此依存、互不独立。例如:自然语言、数字图像等。p(们)=,p(碗)=(们|我)=,p(碗|我)=、要、的、把、看、…碗、机、水、书、框、…贿胚终确额呻娶戳容尧桶告薛警哆洼陀锁陷斗藤胚夜嚷彩脓掩撰岭絮肥蚕差错控制编码第3章离散信源差错控制编码第3章离散信源有限记忆信源和无限记忆信源有限记忆信源:信源发出的消息符号只与前若干个符号的关系比较密切,与更前面符号的关系逐渐减弱,直至无关。p(xi|xi-1xi-2…xi-m)m叫做记忆长度无限记忆信源:信源发出的消息符号与前面出现的所有符号都有关系。p(xi|xi-1xi-2xi-3…)-1信源X符号集为(x1,x2,…,xn),n为信源发出的消息符号的个数,每个符号发生的概率为p(xi),i=1,2,…,n,这些消息符号彼此互不相关,且有则称X为离散无记忆信源。-2信源中某个消息符号的自信息量I(xi)=-logp(xi)定义3-3信源的平均自信息量(信源熵)信源熵的单位信源符号(消息符号)的自信息量表示该符号带有多少比特的信息量因此信源熵表示的是平均每个符号带有多少比特的信息量所以定义信源熵的单位为:比特/符号信源输出哪个符号是不确定的一旦输出一个符号,便消除了这种不确定性即带来了信息因此仍然用概率衡量信源包含的信息量的大小孜滇照玫食透赎唆渊父爽音傍惦庄砰陶叠授视磺篮檄擦停夜淤烛筛省楞剐差错控制编码第3章离散信源差错控制编码第3章离散信源