动态测试与数据处理 3信息论基础知识.ppt

第三章信息论基础知识
学****要求
、作用
——信源模型
与信息熵

信息与信息技术
信息论是信息科学和技术的理论基础,是运用数理统计方法研究信息的获取、变换、传输与处理的科学。
信息与信息技术
信息是事物运动的状态和方式。
测试中,信息是对数据进行处理以后用作决策的有用的基本事实或数据。
信息是信号与消息的更高表达层次。
一、信息的定义
从哲学的角度上讲,信息是构成物质世界的三大支柱之一,其他两个是物质和能量。
信息与信息技术
二、信息的作用
信息描述了客观事物变化的时空特性,向人类提供的是无穷无尽的知识和智慧。
1. 信息是一种资源
三者是物质世界的三大支柱,相辅相成;
物质使系统具有形体,能量使系统具有动力,信息附于物质和能量,但又不同于物质和能量,使系统具有“灵魂”。
2. 物质、能量、信息三者的关系
3. 信息的基本性质
可以识别、转换、存贮、传输,可以共享,永不枯竭。
信息论与广义通信系统
信息论与广义通信系统
信息论是应用数理统计方法研究信息传输与处理的新兴科学。源于通信工程,始于20世纪40年代,60年代信息论引入工程测试领域。
一、信息论的基本概念
找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、保密性和认证性,达到信息传输系统最优化。
信息论研究的内容和目的
信息论与广义通信系统
(2)有效性:就是经济效果好,即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。
(3)保密性:就是隐蔽和保护通信系统中传送的消息,使它只能被授权接收者获取,而不能被未授权者接收和理解。
(4)认证性:是指接收者能正确判断所接收的消息的正确性和完整性,而不是伪造的和被篡改的。
(1)可靠性:使信源发出的消息经过信道传输以后,尽可能准确地、不失真地再现在接收端。
信息论与广义通信系统
二、广义通信系统
信源
发信器
(编码器)
信道
信宿
噪声源
受信器
(译码器)
信源(Information source):信息的来源;
发信器(Transmitter):把信息变换成信号;
信道(Channel):传递信号的媒介;
受信器(Receiver):把信道输出的信号反变换;
信宿(Destination):信息的接受端;
噪声(Noise):信道中的干扰。
信息的定量描述——信源模型与信息熵
信息的定量描述
信源一般以符号(或信号)的形式发出信息。
对于工程物理系统,信源就是所研究的客观事物或物理过程。
一、信源
信源的输出是随机的。收信者在未收到信息以前,对信源发出什么样的消息是不确定的,所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度来描述信源。
不同信源根据其输出信息的不同的随机性质进行分类。
信息的定量描述
二、离散信源模型
用离散型联合概率分布空间描述:
集合 X 描述该信源所有可能输出的状态,集合 P 描述对应各状态出现的概率,状态的出现往往是不相容的,各个状态输出概率总和应该为1。
例:掷硬币
信息的定量描述
三、自信息
自信息是事件xi发生时所含有的信息量。
信源出现的状态是随机的、不确定的,其不确定性与事件发生的改良有关,所测试的系统的不确定性即包含着信息量。
自信息应该是该事件发生的先验概率的函数:
——信息的定量描述
(2) 时, ,必然事件信息量为零;
(3) 时, ,不可能发生的事件发生了,
其信息量为无穷大;
(4)两个独立事件的联合信息量
应等于它们各自信息量之和。
根据客观事实和人们的****惯概念,应满足以下条件:
(1) 应是先验概率的单调递减函数,即
越大,确定性越大,信息量越小;
信息的定量描述