信息论 第三章.ppt

第三章离散信道及其信道容量
信道的数学模型及分类
平均互信息及平均条件互信息
平均互信息的特性
信道容量及其一般计算方法
离散无记忆扩展信道及其信道容量
独立并联信道及其信道容量
串联信道的互信息和数据处理定理
信源与信道的匹配
信道的数学模型及分类
信道的分类
离散信道的数学模型
单符号离散信道的数学模型
信道的分类
两端信道:只有一个输入端和一个输出端
多端信道:在输入端或输出端至少有一端
有两个以上的用户。
无反馈信道:输出端信号对输入端信号无
影响。
反馈信道:输出端信号对输入端信号有影
响。
固定参数信道:信道参数不随时间变化。
时变参数信道:信道参数随时间变化。
离散信道:输入和输出的随机序列取值都
是离散的。
连续信道:输入和输出的随机序列取值都
是连续的。
半离散或半连续信道:一端序列取值是离
散的一端序列取值是连续的。
波形信道:输入输出都是时间上连续
的随机信号X(t),Y(t).
离散信道的数学模型
信道
信道统计特性用条件概率表示
1、无干扰(无噪)信道
2、有干扰无记忆信道
无记忆信道:信道任一时刻输出符号只统计依赖于对应时刻的输入信号,而与非对应时刻的输入符号及输出符号无关。
有干扰:输出符号与输入符号之间无确定的对应关系,符合某种概率分布。
a1 b1
a2 b2
ar bs
单符号离散信道的数学模型
条件概率
称传递概率或转移概率
二元对称信道——BSC
X Y
a1=0 b1=0
a2=1 b2=1
且
二元对称信道的传递矩阵
Y
二元删除信道——BEC
a1=0
a2=1
b1=0
b3=2
b2=1
单符号信道的传递概率用矩阵表示:
简写,信道传递矩阵为
且
矩阵中每行元素之和等于1。