信息论基础和编码—-信道及信道容量ch04.article.doc

信息论基础和编码—-信道及信道容量ch04.article.doc:..信息论基础与编码一信道及信道容量Contents1综述 22信道分类 23信道模型 34信道疑义度 45平均互信息量及其性质 56信道容量 56」离散无记忆信道容量定理 67信道容量的计算 77」离散无噪、无损信道的信道容量计算 98数据处理定理 119信道的组合 1110连续信道及其容量 1210」连续随机变量的互信息量 151综述•在通信系统中,信道是很重要的一部分。信道的任务是以信号的方式传输信息或存储信息。•,即信道容量的问题;。•在本章的学****中,如果没有明确说明,则一律假设信源是理想的,即独立等概分布的离散多符号信源。・一些有噪信道的例子:-一根模拟电话线用于两个Modem之间的数字通信-木星轨道空间站与地球之间的无线电通信链路-细胞的繁殖,父细胞向子细胞传递DNA信息-一个磁盘驱动器2信道分类•信道是指信息传输的通道。包括:-空间传输针对我们常见的情形,例如各种物理通道:电缆、光缆、空间等;-时间传输是指将信息保存,以后再读取。•按输入/输出之间的记忆性来划分:-信道的输出只与信道当前时刻的输入有关而与信道其他时刻的输入无关,则为无记忆信道;-信道的输出不仅与信道当前时刻的输入有关而R与以前时刻的输入有关,则为有记忆信道。•根据信道的参数是否随时间改变可分为-信道的统计特性不随时间变化的平稳信道;-信道的统计特性随时间变化的非平稳信道。•根据输入/输出的个数可分为:-一个输入一个输出为单用户信道;-多个输入多个输出为多用户信道,例如广播信道、卫星通信信道、网络通信信道等。•根据信道输入端和输出端的关系,可分为:-信道输出端无信号反馈到输入端的无反馈信道;-信道输出端有信号反馈到输入端的反馈信道。・根据信号的特点,可分为:-输入和输出均为离散取值信号的离散信道;-输入和输出均为连续取值信号的连续信道;-输入和输出一个为离散取值,一个为连续取值的半连续信道;-时间上也连续的取值连续信道称为波形信道。•本课程只研究单用户、无记忆、无反馈、平稳的离散信道,它是进一步研究其它各种类型信道的基础。3信道模型信道的数学模型为三元组{X,P,Y}.多符号信道的数学模型为三元组y}(BSC):((BEC):(1一叽0——0叫A*qt*9■yf41 •L1(1一q):(l-p)Example^.噪声打字机涪道:A…a耋A•—I3•0D代X^DE••系X诲©>Y——浚与1 z••(X\Y)称为信道疑义度,意为当收到信道输出的所有符号之后对信道输入的符号尚存的平均不确定性。•信道疑义度也表示信源符号通过有噪信道传输后所引起的信息的损失,故也称为损失嫡;输出变量Y的平均不确定性等于通过信道传递过来的平均互信息量Z(X;Y)加上片(Y|X),这完全是由于信道中的噪声引起的,因此H(Y|X)又称为噪声爛或散布爛,它反映了信道中噪声源的平均不确定性。・若信道是理想的:一一对应,则损失^H(X\Y)和噪声嫡H(y|X)都应该为零。•若信道的输入x和输出丫之间完全统计独立,则/(x;y)=o,此时H(X\y)=//(X),H(Y\X)=H(Y).5平均互信息量及其性质•平均互信息量/(X;y)表示信道传输信息的数量。•平均互信息量的凸性:Theorem6(1).在给定信源分布的情况下,/(X;/)是信道转移概率的下凸函数。Theorem7(2).在给定信道转移概率的情况下,/(X;Y)是信源分布的上凸函数。・N次扩展信道的平均互信息量:Theorem8(3).假设信道的输入随机序列为X=(X】X2...Xn),接收到的随机序列为丫=(比丫2…加)。假若信道是无记忆的,则/(Xz;yz) (1)Z=1当且仅当信源也为无记忆时上式才取等号。Theorem9(4).若信道的输入随机序列为X=(X]X2...X/v),通过信道传输,接收到的随机序列为Y=(比丫2...加)。假若信擔是无记忆的,则/(X;y)> /(Xz;n) (2)Z=1当且仅当信道也为无记忆时上式才取等号。=,其平均互信息