信息论与编码-第3章信道容量辅助课件.pdf

信息论与编码-第3章信道容量





研究信道容量原因:传更多信息
信道容量的相关因素:信道本身特性;荷载信息的信号
形式;信源的统计特性。
#数学模型
{X,P(Y|X),Y} 符号表示
图形表示:
X P ( Y | X ) Y
理论基础:固定信道,调整信源,I(X;Y)是p(x)的上凸
函数

#分类(5类) ⎧离散信道
⎪
(1)输入、输出随机信号的特点⎨连续信道
⎪
⎩半连续半离散信道
⎧单符号信道
输入、输出变量个数⎨
(2) ⎩多符号信道
⎧单用户信道
⎨
(3)输入、输出的个数⎩多用户信道
(4)信道的干扰性⎧干扰信道
⎨
⎩无干扰信道
⎧无记忆信道
(5)信道的记忆特性⎨
⎩有记忆信道


数学模型
{x1, x2 ,L, xn} {y1, y2 ,L, ym}
X p(y j | xi ) Y
信道转移矩阵
(p(y | x ))
信道转移概率 j i n×m
反信道转移概率(p(x | y ))
i j m×n

I(X;Y):每传送一个符号流经信道的平均信息量
信息传输率(信息率) R= I(X;Y)
I(X;Y)<=H(X)(原因?说明什么?)
C:信道容量:最大的信息传输率
C = max R = max I(X ;Y )(bit / 符号)
p(xi ) p(xi )

单位时间内的信道容量
---单位时间内能传输的最大信息量
1
Ct = max I(X ;Y )(bit / 秒)
t p(xi )
含义:信道平均传输一个符号需要t秒钟,每秒的
信息传输量
注意: ⎧C : 信道所能传送的最大信息量
⎨
⎩C t : 信道的最大信息传输速率


一、离散无噪信道的信道容量(3种情形)
二、强对称离散信道的信道容量
三、对称离散信道的信道容量
四、准对称离散信道的信道容量

一、离散无噪信道的信道容量(3种情形)
1。一一对应的无噪信道(n=m)
2。扩展的无噪信道(n<m)
C = max H (X ) = log n(bit / 符号)
p(xi )
3。归并的无噪信道(n>m)
C = max H (Y ) = log m(bit / 符号)
p(xi )

二、强对称离散信道的信道容量(n=m)
C = max H (Y ) − H (Y | X )
p(xi )
p p
= log n − H ( p, ,L, )
n −1 n −1
p
= log n + p log p + p log
n −1

三、对称离散信道的信道容量(n行m列)
矩阵行可排列每一行为的不同排列
⎧{q1 , q 2 ,L , q m }
⎨
矩阵列可排列每一列为的不同排列
⎩{ p1 , p 2 ,L , p n }
矩阵可排列:相应的信道成为对称信道
公式: C = max H (Y ) − H (Y | X )
p(xi )
= log m − H (q1,q2 ,L,qm )
举例及注意