第2章_信息的度量1
第二章信息的度量
2
度量信息的基本思路
信源熵和条件熵
互信息量和平均互信息量
多维随机变量的熵
本章内容提要
3
信息论的发展是以信息可以度量为基础的,度量信息的量称为信息量。
对于随机出现的事件,它的出现会给人们带来多大的信息量?
考虑到通信系统或很多实际的信息传输系统,对于所传输的消息如何用信息量的方法来描述?
本章将围绕这些问题展开讨论。
第2章信息的度量
4
从讨论信源的特征入手,给出定量度量信息的方法。
以天文学范畴的事件为例。
小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等,都是天文学内一个个离散的事件
如果将一个事件用一个符号来表示,则一个符号代表一个完整的消息
如果把都是天文学内的事件看作是天文学这个“信源”输出的符号,则这个信源可以看作是单符号离散信源。
度量信息的基本思路
5
由此给出如下定义:
如果信源发出的消息是离散的、有限或无限可列的符号或数字,且一个符号代表一条完整的消息,则称这种信源为单符号离散信源。
度量信息的基本思路
6
单符号离散信源的实例
掷骰子每次只能是1, 2, 3, 4, 5, 6中的某一个;
天气预报可能是晴、阴、雨、雪、风、冰雹…中的一种或其组合以及温度、污染等;
二进制通信中传输的只是1、0两个数字;等等。
这种符号或数字都可以看作某一集合中的事件,每个符号或数字(事件)都是信源中的元素,它们的出现往往具有一定的概率。
把信源看作具有一定概率分布的某一符号集合。
度量信息的基本思路
7
若信源的输出是随机事件X,其出现概率为P(X),,则它们所构成的集合,称为信源的概率空间或简称为信源空间。
信源空间通常用如下方式来描述:
显然,信源空间必定是一个完备集,即
度量信息的基本思路
8
考虑一个单符号离散信源,它的输出被传送给对此感兴趣的一方。
设x1为最大可能的输出,xN为最小可能的输出。
例如,假设信源输出代表天气情况,x1为晴或多云天气,xN为冰雹或其他强对流天气。
哪个输出包含更多的信息,x1还是xN?
直观地,传递xN 给出了更多的信息。
度量信息的基本思路
9
由此可以合理地推算信源输出的信息量应该是输出事件的概率的减函数。
度量信息的基本思路
10
信息量的另一个直观属性是,某一输出事件的概率的微小变化不会很大地改变所传递的信息量,即信息量应该是信源输出事件概率的连续减函数。
度量信息的基本思路
第2章 信息的度量 来自淘豆网www.taodocs.com转载请标明出处.