《第3章作业答案改正》.doc.doc

3-1 设二进制对称信道的概率转移矩阵为??????3/23/1 3/13/2 , (1)若p(x 0)= 3/4 ,p(x 1)= 1/4 ,求 H(X)、H(X/Y)、H(Y/X)和I(X;Y)。(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。(3) 求信道冗余度。解:(1 ) 由题目求得联合概率 1/ 2 1/ 4 1/12 1/ 6 ? ?? ?? ?, 及 Y 的概率分布为: ???? 0 7/12, 1 5/12 p y p y ? ? ??。则?? 6/ 7 3/ 5 / 1/ 7 2/ 5 P X Y ? ??? ?? ?,进而: ?? log / i i i H X x x bit sym ?? ??????( / ) , log / / i j i j i j H X Y p x y p x y bit sym ?????????( / ) , log / / i j i j i j H Y X p x y p y x bit sym ???????????; / / I X Y H X H X Y bit sym ? ? ?(2 )对称信道的信道容量为: ?? log2 1/ 3, 2/3 1 1 2 2 1 log log 3 3 3 3 / C H bit sym ? ?? ? ??当???? 0 1 1/ 2 p x p x ? ?时达到此信道容量。(3 )信道的绝对冗余度=C-I(X;Y)=-= bit/sym 信道的相对冗余度=1-I/C=1-=% 3-2 求下列各离散信道的容量(其条件概率 P(Y|X) 如下): 1)Z 信道 XY01 010 1ε 1-ε 2) 可抹信道 XY0E1 0 1-ε 1-ε 2ε 1ε 2 1ε 2ε 1 1-ε 1-ε 2 3) 非对称信道 XY01 0 1/2 1/2 1 1/4 3/4 4) 准对称信道 XY0123 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3 解:(1 )信道输出 0、1 的先验概率分别为 0p 、1p , 0 1 1 p p ? ??????????????????? 0 0 1 1 1 1 0 1 0 0 0 0 1 1 1 1 ; / , log log 1 log 1 i ij ij i j q p p p q p I X Y