信息论基础与编码—信道及信道容量ch04article.docx

信息论基础与编码—信道及信道容量ch04article.docx信息论基础与编码一信道及信道容量Contents1 综述 22信道分类 23信道模型 34信道疑义度 45平均互信息量及其性质 56信道容量 67信道容量的计算 、无损信道的信道容量计算 98 数据处理定理 119信道的组合 1110连续信道及其容量 15信息或存1综述?在通信系统中,信道是很重要的一部分。信道的任务是以信号的方式传输储信息。?研究信道的两个基本问题是1•一个给定的信道中能够传输或存储的最大信息量,即信道容量的问题;。等概分布?在本章的学****中,如果没有明确说明,则一律假设信源是理想的,即独立的离散多符号信源。?一些有噪信道的例子:-一根模拟电话线用于两个 Modem之间的数字通信-木星轨道空间站与地球之间的无线电通信链路-细胞的繁殖,父细胞向子细胞传递 DNA信息-一个磁盘驱动器2信道分类?信道是指信息传输的通道。包括:间等;无有-空间传输针对我们常见的情形,例如各种物理通道:电缆、光缆、空-时间传输是指将信息保存,以后再读取。?按输入/输出之间的记忆性来划分:-信道的输出只与信道当前时刻的输入有关而与信道其他时刻的输入关,则为无记忆信道;-信道的输出不仅与信道当前时刻的输入有关而且与以前时刻的输入关,则为有记忆信道。?根据信道的参数是否随时间改变可分为-信道的统计特性不随时间变化的 平稳信道;-信道的统计特性随时间变化的 非平稳信道。?根据输入/输出的个数可分为:-一个输入一个输出为单用户信道;-多个输入多个输出为多用户信道,例如广播信道、卫星通信信道、网络通信信道等。(BEC):(1-P)?00??•■t】7•pl"7•?_pp_0?7•■Pq??- oq1-q?1(1-q) :po■11—(1-?p)Example4•噪声打字机信道:7A7777 7T7???7?9?A3C???MBB?7■■驾c "■?■? ?• •p=■D ??D~~? ? ??????? E???••・・? ??????99?•••••・9Y……?.?z??Y7i■?7•■?■(X|Y)称为信道疑义度,意为当收到信道输出的所有符号之后对 信道输入的符号尚存的平均不确定性。?信道疑义度也表示信源符号通过有噪信道传输后所引起的信息的损失,故 也称为损失爛;输出变量Y的平均不确定性等于通过信道传递过来的平均互信息量l(X;Y)加上H(Y|X),这完全是由于信道中的噪声引起的, 025 05 :BSC信道和Z信道的平均互信息量?由定理7可知,l(X;Y)是输入随机变量 X的概率分布p(x)的上凸函数。因此对于一个固定的信道,总存在一个信源,使得传输每个符号平均获得的信息量最大,也就是每个固定的信道都有一个最大的信息传输率。 信道容量:△C=maxd(X;Y) ⑷p(x)其单位为比特/符号。而相应的输入概率分布称为 最佳输入分布。信道的统?信道容量是在假定信源理想的情况下信道传输信息能力的极值。?信道容量与输入信源的概率分布无关,它只是信道转移概率的函数,只与计特性有关。?对于多符号信道,有1c=limmax{I(XX...Xn;Ys丫2・・・Yn)} (5)12N—ooNp(x)铲翱關矣灑平轉児讐俑!(X般鬲H=(^+h常))「H(p)0容易求得其因此,BSC的信道容量为C=1-H(p)(比特/符号)(K-T条件)•令f(x)是定义在R上的上凸函数,其中x=(xi,X2,...,xr?f(X)为概率矢量。假定 均存在,「&•在 R上连续,则f(x)在R上取极大值的充?x{?f(x)?Xi?f(x)?Xi?■要条件是: 'Zx'>0 ⑹?iZx=0因BSC的信道容量Theorem45(离散无记忆信道容量理)・输入概率矢量Qa,…,p「)达到转移概率矩阵为(Pji)rs的离散无记忆信道 (DMC)容量C的充要条件为:{I(X=Xi;Y)二C?Pi>0⑺l{X=Xi;Y)?C?pi=0其中I(X=Xi;Y)为输入为X二Xi时,信道输出