第二章 离散信源及其信息测度 01.ppt

第二章离散信源及其信息测度
第一节信源的数学模型及分类
第二节离散信源的信息熵
第三节信息熵的基本性质
第四节离散无记忆的扩展信源
第五节离散平稳信源
第六节马尔可夫信源
第七节信源剩余度与自然语言的熵
信源的数学模型及分类
什么是信源?
信源是信息的来源。实际通信中常见的信源有:语音、文字、图像、数据……
在信息论中,信源是产生消息(符号)、消息序列以及连续消息的来源。数学上,信源是产生随机变量、随机序列和随机过程的源。
信源的数学模型及分类
随机变量:
离散型随机变量:样值离散
连续型随机变量:样值连续
随机矢量(随机序列):一系列时间上离散的随机变量
离散型随机序列:样值离散
连续型随机序列:样值连续
随机过程:一连串时间上连续的随机变量
离散型随机过程:样值离散
连续型随机过程:样值连续
信源的数学模型及分类
信源的最基本特性:
统计不确定性
运用概率论和随机过程的理论来研究信息,这是香农信息论的基本点。
本节要求:
掌握信源的分类
掌握各种信源的描述方法
信源的数学模型及分类
信源的分类:
按照消息在幅度上的分布情况:
离散信源(离散平稳信源、离散非平稳信源)
连续信源(连续平稳信源、连续非平稳信源)
按照信源符号之间的关系:
无记忆信源
发出单个符号的无记忆信源
发出符号序列的无记忆信源
有记忆信源
发出符号序列的有记忆信源
发出符号序列的马尔可夫信源
信源的数学模型及分类
——信源输出的消息用随机变量描述
有些信源可能输出的消息数是有限的或可数的,而且每次只输出其中一个消息。例如,扔一颗质地均匀的,研究其下落后,朝上一面的点数。每次试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。这种信源输出消息是“朝上的面是1点”、“朝上的面是2点”、......、“朝上的面是6点”等六个不同的消息。每次试验只出现一种消息,出现哪一种消息是随机的,但必定是出现这六个消息集中的某一个信息,不可能出现这个集合以外的什么消息。这六个不同的消息构成两两互不相容的基本事件集合,用符号来表示这些消息,得这信源的样本空间为符号集。。由大量试验结果证明,各消息都是等概率出现的,都等于。
信源的数学模型及分类
——信源输出的消息用随机变量描述
因此,可以用一个离散型随机变量来描述这个信源输出的消息。这个随机变量的样本空间就是符号集
,而得概率分布就是各消息出现的先验概率,为
。抽象后得到这个信源的数学模型为
并满足
1、离散信源
数学模型如下:
集合X中,包含该信源包含的所有可能输出的消息,集合P中包含对应消息的概率密度,各个消息的输出概率总和应该为1。
例:投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等。
信源的数学模型及分类
——信源输出的消息用随机变量描述
2、连续信源
数学模型如下:
信源的数学模型及分类
——信源输出的消息用随机变量描述
每次只输出单个符号(代码)的消息,但消息的可能数目是无穷多个。
例:语音信号、热噪声信号某时间的连续取值数据,遥控系统中有关电压、温度、压力等测得的连续数据。
信源输出的消息是时间上或空间上离散的一系列随机变量,即为随机矢量。此时,信源的输出可用N维随机矢量X=(X1X2…XN)来描述(N为有限正整数或可数的无限值)。这N维随机矢量也称为随机序列。
例:中文自然语言文字,图像。
比较:随机变量和随机矢量描述的消息
信源: 骰子中文自然语言文字
消息举例: “1点”“今天天气晴朗”
随机变量随机矢量(时间上离散的符号序列)
样本空间:{1点,2点,…,6点} 所有汉字与标点符号的集合
信源的数学模型及分类
——信源输出的消息用随机矢量描述