02－信源与信源熵.ppt

信源与信源熵
11/10/2017
1
电信学院汪汉新
本章节教学内容、基本要求、重点与难点
1. 教学内容:
离散信源的数学模型。
离散信源熵和互信息。
数据处理定理。

2. 教学基本要求:
掌握信源的分类及对应的数学模型。
掌握熵和互信息的定义、性质。

3. 重点与难点:
离散信源熵的含义。
离散信源的互信息的含义。
11/10/2017
2
电信学院汪汉新
信源的统计特性
在信息论中,确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看,由于消息的不确定性,因此,信源是产生随机变量、随机序列和随机过程的源。
其次,讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。
11/10/2017
3
电信学院汪汉新
首先讨论离散单个消息(符号)信源(单符号离散信源)。它是最简单的也是最基本的信源,是组成实际信源的最基本单元。
其次,讨论实际信源。实际信源不可能仅发送单个消息(符号),对离散信源而言,发送的是一组消息(符号)串,即一个随机序列(多符号离散信源) ;对连续信源而言则是一随机过程(连续信源) 。
信源的分类讨论
11/10/2017
4
电信学院汪汉新
在实际问题中,连续的模拟信源往往可以采用两种方法进行分析。
一类是将连续信源离散化为随机序列信源,再采用前面的随机序列信源进行分析;
另一类则是直接分析连续模拟信源,但是由于数学上的困难,只能分析单个连续消息变量的信源。
有3类最常用展开式:傅氏级数展开、取样函数展开及K-L展开。
11/10/2017
5
电信学院汪汉新
单符号离散信源数学模型
单符号离散信源的数学模型就是离散型的概率空间:
X代表随机变量,指的是信源整体
xi代表随机事件的某一结果或信源的某个元素
p(xi)=P(X=xi),表示随机事件X发生某一结果xi的概率。
n是有限正整数或可数无限大
11/10/2017
6
电信学院汪汉新
不确定性与发生概率
事件发生的概率越小,我们猜测它有没有发生的困难程度就越大,不确定性就越大。概率等于1的必然事件,就不存在不确定性。
某事件发生所含有的信息量应该是该事件发生的先验概率的函数。
用函数f [p(xi)]来表示信息量与先验概率的关系,可以从数学上证明这种函数形式是对数形式。
11/10/2017
7
电信学院汪汉新
1928年,信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究,并给出了最早的信息度量公式, 定义为可能消息量的对数:
I=logNm=mlogN
11/10/2017
8
电信学院汪汉新
用概率测度定义信息量:
设离散信源X,其概率空间为
如果知道事件xi已发生,则该事件所含有的自信息定义为
自信息
11/10/2017
9
电信学院汪汉新
自信息含义
当事件xi发生以前:表示事件xi发生的不确定性。
当事件xi发生以后:表示事件xi所含有(或所提供)的信息量。在无噪信道中,事件xi发生后,能正确无误地传输到收信者,所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性,才获得这么大小的信息量。
11/10/2017
10
电信学院汪汉新