《信息论与编码》_第3章_信道容量.ppt

网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 第三章信道容量赵永斌石家庄铁道大学信息科学与技术学院 2017 年4月13日网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 信道及其容量 信道容量的数学模型和分类 单符号离散信源 多符号离散信源 连续信道 信道编码定理网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 回顾信道是传输信息的媒质或通道。(输入→信道→输出) 说明(1)信道输入是随机过程。(2)信道响应特性是条件概率 P(输出值为 y|输入值为 x), 又称为转移概率。(3)信道输出是随机过程,输出的概率分布可以由输入的概率分布和信道的响应特性得到。(全概率公式) (4)根据信道输入、信道响应特性、信道输出的情况, 可将信道分类:离散信道(又称为数字信道);连续信道(又称为模拟信道);特殊的连续信道——波形信道;恒参信道和随参信道;无记忆信道和有记忆信道等网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 回顾“离散”的含义是时间离散,事件离散。即: 信道的输入、输出时刻是离散的,且输入随机变量和输出随机变量都是离散型的随机变量。?“无记忆”的含义是信道响应没有时间延迟, 当时的输出只依赖于当时的输入。?“平稳”的含义是信道在不同时刻的响应特性是相同的。网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 无干扰信道有干扰信道 信道容量的数学模型和分类信道的分类有记忆信道无记忆信道单符号信道多符号信道单用户信道多用户信道连续信道半离散信道离散信道网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 6 2017-4-13 信道分类定义:如果(1)信道的输入为随机变量序列 X 1, X 2, X 3, …,其中每个随机变量 X u的事件集合都是{0, 1, …, K -1} , (2)信道的输出为随机变量序列 Y 1, Y 2, Y 3, …,其中每个随机变量 Y u的事件集合都是{0, 1, …, J -1} , 则称该信道为离散信道。网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 7 2017-4-13 信道分类如果更有(3)P ((Y 1Y 2…Y N )=( y 1y 2…y N )|(X 1X 2…X N )=( x 1x 2…x N )) =P(Y 1=y 1|X 1=x 1)P(Y 2=y 2|X 2=x 2)…P(Y N=y N|X N=x N), 则称该信道为离散无记忆信道( DMC )。如果更有(4)对任意 x∈{0, 1, …, K -1} ,y∈{0, 1, …, J -1} ,任意两个时刻 u和v,还有 P(Y u=y|X u=x )=P(Y v=y|X v=x), 则称该信道为离散无记忆平稳信道或恒参信道。网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 信道容量的数学模型噪声介质缺陷 XY 信源编码信道编码器调制器(写入头) 信道(存储介质) 解调器(写入头) 信道译码器信源译码转移概率矩阵 p(Y|X)XY 网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 信道容量的数学模型 P(Y/ X)xY 信道的数学模型: {XP(Y/X ) Y} 信道在某一时刻 u的响应特性 P(Y u=y|X u=x); x∈{0, 1, …, K -1} ,y∈{0, 1, …, J -1} , 网络工程系- Information Theory and Coding 网络工程系- Information Theory and Coding 信道容量的数学模型?二元对称信道 BSC 当N=1时 p(0/0)=p(1/1)=,p(1/0)=p(0/1)= 当 N