第3章信道容量.ppt

第3章信道容量
研究:在什么条件下,通过信道的信息量最大?多少?
1
第3章信道容量
信道数学模型和分类
单符号离散信道的信道容量
多符号离散信道
多用户信道
连续信道
信道编码定理
2

一、信道数学模型
X,Y——随机过程:时间连续的时间信号
信号带宽有限,X,Y可抽样为时间离散的随机序列,每序列为一随机变量.
二、信道分类
(1) 根据输入、输出随机信号特点
离散信道——输入、输出随机变量均离散取值
连续信道——输入、输出随机变量均连续取值
半离散(连续)信道——一为离散,另一为连续
P(Y/X)
X
Y
3
(续)
二、信道分类
(2) 根据输入、输出随机变量的个数
单符号信道——输入、输出均用随机变量表示
多符号信道——输入、输出用随机矢量表示
(3) 根据输入、输出端的个数
单用户信道——输入、输出均只有一个
多用户信道——输入、输出有多个
4
(续)
二、信道分类
(4) 根据信道上有无噪声(干扰)
有噪(扰)信道
无噪(扰)信道
(5) 根据信道有无记忆特性
无记忆信道——输出仅与当前输入有关
与先前输入无关
有记忆信道——输出不仅与当前输入有关
还与先前输入有关
5
信道容量定义
一. 信道矩阵P
[含义] 由信道转移概率(条件概率)组成的矩阵
设单符号离散信道
则信道特性可表示为p(yj/xi)
信道矩阵
单符号离散信道的信道容量
p(yj/xi)
X
Y
i=1~n
j=1~m
6
信道容量定义(续)
二、信道容量
1. 互信息I(X;Y)
——平均来说,每传送一个信道符号时,
流经信道的有用信息量
I(X;Y) = H(X) – H(X/Y) ≤H(X)
于是, I(X;Y) 是二元函数:p(xi)的上凸函数
p(yj/xi)的下凸函数
7
信道容量定义(续)
二、信道容量
2. 信道容量
(1) 定义
(2) 含义
①给定信道时,对应各种输入概率分布求取的
最大互信息(每信道符号)
②给定信道时,理论上能传输的最大(有用)信息量

[含义] 单位时间内
信道中传输的最大有用信息量——信息传输速率
8

一、离散无噪声信道(n = m)

——一对一,无噪无损信道
信道矩阵——单位阵:元素为0、1
损失熵 H(X/Y) = 0
噪声熵 H(Y/X) = 0
互信息 I(X;Y) = H(X) = H(Y)
x1
x2
x3

xn
y1
y2
y3

yn
………
H(X)
I(X;Y)
H(Y)
9
(续)
一、离散无噪声信道(n < m)
2. 具有扩展性的无噪信道
——一对多,有噪无损信道
信道矩阵——每列只有一个非0元
元素不全是0、1
损失熵 H(X/Y) = 0
噪声熵 H(Y/X) ≠ 0
H(X) < H(Y)
x1
x2
x3
y1
y2
y3
y4 y5
H(X)
I(X;Y)
H(Y)
H(Y/X)
10