信息论离散信道及其容量PPT学习教案.pptx

会计学
1
信息论离散信道及其容量
信道的数学模型及其分类
信道是信息传输的通道。
由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y|x)描述。
而输入和输出又有各自的统计特性，分别用 和表示。
第3章介绍有记忆信源的时候用到了条件概率，现在又用到了条件概率，两种情况下条件概率所表达的含义相同吗？
不同
信源：表示前后输出的符号之间的关联关系
信道：表示传输时发生错误的情况，或者说干扰的情况
第1页/共38页
信道的分类
根据输入输出事件的时间特性
离散信道：GSM
连续信道：有线电视、广播
根据输入输出个数
两端信道（单路信道）：电话
多元接入信道：信道的复用
广播信道：广播
根据统计特性
恒参信道：信道的统计特性不随时间发生变化。
随参信道：信道的统计特性随时间发生变化。
根据记忆特性
无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。
有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入也有关系。
第2页/共38页
一些特殊信道
无损信道：输出可以决定输入，即知道了信道的输出符号，能确切判断出它对应的输入符号是什么。
确定信道：输出完全由输入决定，即输入符号一旦定下来，信道的输出是确定的。
无噪信道：既是无损信道，又是确定信道。输出能决定输入，输入也能决定输出。现实生活中很少存在这样的信道。
无用信道：输入与输出相互独立，没有任何关系。
第3页/共38页
离散无记忆信道
离散信道的输入序列为X={X1,X2,…,XN}，其取值为x={x1,x2,…,xN}，其中xn∈A={a1,a2,…,ar}。信道的输出序列为Y={Y1,Y2,…,YN}，其取值为y={y1,y2,…,yN}，其中yn∈B={b1,b2,…,bs}。
离散信道特性：p(y|x)=p(y1y2…yN | x1x2…xN)
信道的数学模型：{X,p(y|x),Y}
第4页/共38页
离散无记忆信道
若离散信道对任意N长的输入、输出序列有
p(y|x)=p(y1y2…yN | x1x2…xN)= ，
则称它为离散无记忆信道，简称DMC。其数学模型为：{X,p(y|x),Y}={X,p(yn|xn),Y}
无记忆的含义：信道的输出只与此时信道的输入有关，与以前的输入无关。
对任意n和m，若离散无记忆信道还满足
P(yn=j|xn=i) = P(ym=j|xm=i)
则称此信道为平稳的或者恒参的。
第5页/共38页
无记忆离散平稳信道中序列的转移概率和单个符号的转移概率的关系
后面如无特殊声明，所讨论的离散无记忆信道都是平稳的。
因为无记忆，所以序列的转移概率可以表示为单个符号的转移概率的乘积。
因为平稳，所以序列的转移概率和符号的转移概率都不随时间发生变化。
因此对于无记忆离散平稳信道，只需研究单个符号的传输，即研究一维概率分布即可。
第6页/共38页
三种常见的离散信道
无扰（无噪）信道
输出符号与输入符号之间有确定的一一对应关系：yn=f(xn)，常见的情况是yn=xn，这表明传输没有发生错误（信道上没有干扰），发送的是什么，接收到的就是什么。
无扰信道还可以表示为：
有干扰无记忆信道
有干扰有记忆信道
实际信道往往是既有干扰又有记忆
第7页/共38页
单符号离散信道
N=1，信道传递概率： p(y|x)=P(Y=bj|X=ai)= p(bj|ai)=pij，满足pij≥0，
所有的信道传递概率可以组成一个矩阵：信道矩阵P：
第8页/共38页
二元对称信道
简称为BSC
二元：输入和输出符号集均为{0,1}
对称：1变成0和0变成1的概率相等。
p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p
BSC的信道矩阵：
第9页/共38页