下载此文档

第3专题1聊城大学.ppt


文档分类:研究生考试 | 页数:约99页 举报非法文档有奖
1/99
下载提示
  • 1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
  • 2.下载该文档所得收入归上传者、原创者。
  • 3.下载的文档,不会出现我们的网址水印。
1/99 下载此文档
文档列表 文档介绍
第3专题1聊城大学
X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
[P]=
0
1
0
1-p
p
1
p
1-p
0
这种信道的输入和输出符号没有关系,Y 知道后关于 X 的不确定性 H(X|Y) 和没有 Y 时的不确定性 H(X) 完全一样,信息无法传输,称为“全损信道”;

(1)条件互信息
已知事件
的条件下,接收到y后获得关于某事件x的
条件互信息
先验概率和后验概率都是在某一特定条件下的取值,这是条件互信息与互信息的区别
已知
后,总共获得关于
的互信息
(2) 平均条件互信息
[例2]某2元通信系统,它发送1和0的概率为p(1)=1/4,p(0)=3/4,
由于信道中有干扰。通信不能无差错的进行。即有1/6的1在接
受端错成0,1/2的0在接受端错成1。问信宿收到一个消息后,
获得的平均信息量是多少?
P(y2)=5/12 y=0
5/6
1/2
1/2
1/6
P(y1)=7/12 y=1
P(x2)=3/4 x=0
P(x1)=1/4 x=1
p(x1)=p(1)=1/4 p(x2)=p(0)=3/4
根据题意确定p(yj/xi):
p(y1/x1)=p(1/1)=5/6, p(y2/x1)=p(0/1)=1/6
p(y2/x2)=p(0/0)=1/2, p(y1/x2)=p(1/0)=1/2
这就叫做信道特性,如果列成矩阵,就叫信道矩阵。
解:
先用公式p(xi)p(yj/xi)=p(xiyj)来计算,p(xiyj)称为联合概率。
p(x2y1)=p(01)=p(0)p(1/0)=3/4×1/2=3/8
p(x2y2)=p(00)=p(0)p(0/0)=3/4×1/2=3/8
p(x1y2)=p(10)=p(1)p(0/1)=1/4×1/6=1/24
p(x1y1)=p(11)=p(1)p(1/1)=1/4×5/6=5/24
再计算信宿端p(yj)
p(y1)=p(1)=1/4×5/6+3/4×1/2=7/12
p(y2)=p(0)=3/4×1/2+1/4×1/6=5/12
再利用公式p(xi/yj)=p(xiyj)/p(yj)来计算后验概率p(xi/yj)
p(x1/y1)=
=
=
p(x2/y1)=
=
=
p(x1/y2)=
=
=
p(x2/y2)=
=
=
现在可以计算信宿收到一个消息后所获得的信息量:
I(发0;收0)=I(x2;y2)=log
=log2
=log2
=log210/7=
=log2
(通信错误,没有消除不确定性,反而增加了不确定性,相当于
得到了负消息)
=log2
=log26/7=-
I(发0;收1)=I(x2;y1)=log
=log22/5=-
I(发1;收0)=I(x1;y2)=log
I(发1;收1)=I(x1;y1)=log
=log25/6=
我们为了得到信宿收到一个消息所获得的平均信息量(算术平
均与统计平均):
I平均=p(x2y2)I(x2;y2)+ p(x1y1)I(x1;y1)+ p(x1y2)I(x1;y2)+ p(x2y1)I(x2;y1)
=3/8×+5/24×-1/24×-3/8×
=(差错率太高了—)I负值?)
数学上可以证明平均信息量是非负的。
[]四个等概分布的消息M1,M2,M3,M4被送入一个
二元无记忆对称信道进行传输。通过编码使M1=00, M2=
01,M3=10,M4=11。而BSC信道如图所示。试问,输入是
M1和输出符号是0 的互信息是多少?如果知道第二个符号也
是0,这时带来多少附加信息量?
X
Y
0
1
0
1
p
p
解:根据题意知
输入为M1和第一个输出符号0的联合概率
根据信道的特性,输出第一个符号为0的概率
由于信道无记忆
所以
若输出符号为00,可得
因此
同理,得
因此,当第一个符号为0,第二个符号也是0时所带来关于
M1的附加信息
名称
符号
关 系
图 示















第3专题1聊城大学 来自淘豆网www.taodocs.com转载请标明出处.