本信息论与编码A信道容量.ppt

1第3章信道容量信息论与编码Information and Coding 信道基本概念?信道物理模型?输入消息X?输出消息Y? 信道基本概念?信道分类?根据信道用户的多少?单用户信道?多用户信道?根据信道输入端与输出端的关系?无反馈信道?有反馈信道?根据信道的参数与时间的关系?固定参数信道? 信道基本概念?根据输入与输出随机变量的取值分类?离散信道(数字信道: 时间、取值离散)?连续信道(模拟信道: 取值连续)?半连续信道( 时间、取值一个离散,另一个连续)?波形信道(时间、取值连续) 信道基本概念?信道模型?输入: 随机变量X (字母集为: A={a1, a2,…, an })?输出: 随机变量Y (字母集为:B={b1, b2,…,bm})?干扰: 条件概率(转移概率,信道矩阵)P(y | x) (x?A, y?B)XYP(y/x) 信道基本概念?离散无记忆信道(DMC: discrete memoryless channel)?输入随机变量X的取值空间A={a1, a2,…, an}?X的概率分布: Qi=P{X= ai } (ai?A)?输出随机变量Y的取值空间B={b1, b2,…,bm }?任给输入序列x=(x1, x2,…,xN),设输出序列为y=(y1, y2,…,yN),则转移概率P(y|x)=P(y1, y2,…,yN | x1, x2,…,xN).. .)|()|(1。则称为离散无记忆信道:如果信道转移概率满足???NiiixyPxyP?DMC记为: (X, P(Y|X),Y ) DMC的信道容量?DMC的信道转移概率矩阵(前向转移概率矩阵)11 12 121 22 21 2 ... ... ( | ) . .......... ... mmn n nmp p pp p pQ P Y Xp p p? ?? ?? ?? ?? ?? ?? ? pij=P{Y=bj |X=ai} (ai?A, bj?B)表示在信道输入ai条件下信道输出bj的概率, DMC的信道容量?二进制对称信道(Binary Symmetric Channel, BSC)信道的输入输出符号数皆为2,转移概率矩阵11p pQp p?? ??? ??? ? 波型信道的容量