下载此文档

第1讲——信息论的对象与方法.ppt


文档分类:IT计算机 | 页数:约41页 举报非法文档有奖
1/41
下载提示
  • 1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
  • 2.下载该文档所得收入归上传者、原创者。
  • 3.下载的文档,不会出现我们的网址水印。
1/41 下载此文档
文档列表 文档介绍
信息论基础
王子龙
Office:老校区老科技楼A405
E-mail:******@xidian.
教材 信息论与编码理论, 王育民、李晖编,高等教育出版社
参考书
of Information Theory,
Thomas M. Cover, Joy A. Thomas著
—基础理论与应用,傅祖芸编,电子工业出版社
,朱雪龙编,清华大学出版社
信息论的对象 与方法
第一讲
什么是信息?
科学名词: 统计数学、通信技术
用严格的数学公式定义的科学名词,它与
内容无关,而且不随信息具体表现形式的
变化而变化,因而也独立于形式。
情报、知识、消息
计算机处理中的数据、文字
广义信息:
技术术语:
是事物运动状态或存在方式不确定性的描述。
情报
知识
消息
信源输出
码字
输出
消息先
验概率
消息后验概率
收到0
收到01
收到011
x1
x2
x3
x4
x5
x6
x7
x8
000
001
010
011
100
101
110
111
1/8
1/8
1/8
1/8
1/8
1/8
1/8
1/8




×
×
×
×
×
×


×
×
×
×
×
×
×

×
×
×
×
信息、消息和信号
信息
是事物运动状态或存在方式不确定性的描述。
消息
是指包含有信息的语言、文字和图像等。
信号
是消息的物理体现。
信源输出
码字
输出
消息先
验概率
消息后验概率
收到0
收到01
收到011
x1
x2
x3
x4
x5
x6
x7
x8
000
001
010
011
100
101
110
111
1/8
1/8
1/8
1/8
1/8
1/8
1/8
1/8




×
×
×
×
×
×


×
×
×
×
×
×
×

×
×
×
×
消息
信号
Shannon信息定义
信源
信道
信宿
噪声或干扰
简单通信系统框图
不知、不确定
消除或部分消除
不知、不确定
信息的特征
不确定性,接收者在收到信息之前,对它的内容是不知道的;
信息能使认识主体对某一事物的未知性或不确定性减少;
信息是可以量度的
不确定性
【例】摸球试验
甲袋共100个球,红球白球各50个;乙袋共100个球,红、白、蓝、黑球各25个;现随意从甲袋或乙袋中取出一球,并猜测取出球的颜色?
事物出现某状态不确定性的大小,与该状态出现的概率大小有关
不确定性度量

第1讲——信息论的对象与方法 来自淘豆网www.taodocs.com转载请标明出处.

相关文档 更多>>
非法内容举报中心
文档信息
  • 页数41
  • 收藏数0 收藏
  • 顶次数0
  • 上传人s1188831
  • 文件大小511 KB
  • 时间2017-07-24