互信息.ppt

相对熵和互信息
附:信息论中的重要不等式
2
主要内容
信息论中的重要不等式
相对熵
互信息
对数函数基本不等式
詹森不等式
费诺不等式
3
重要不等式
对任意实数
对任何两组满足条件
的实数,
等号成立的充要条件是
对数函数的基本不等式
4
重要不等式
对任何两组实数
,
对数和不等式.
5
重要不等式
詹森不等式
是一个随机变量, 表示的数学期望, 是上凸函数,则
费诺不等式
是在中取值的随机变量,记
则
6
相对熵(互熵)
两个概率分布“差异性”的度量值,也是一种重要的信息度量.
同一字母集上两个概率分布的相对熵:
对任意概率分布pi,它对其他概率分布qi的自信息量-logqi取数学期望时的差异.
7
相对熵的性质
,等号成立
是概率分布对的凸函数
8
互信息
9
互信息
I(信息量)=不肯定程度的减小量
如果信道是无噪的,当信源发出消息x后,信宿必能准确无误地收到该消息,彻底消除对x的不确定度,所获得的信息量就是x的不确定度,即x本身含有的全部信息.
信宿在收信前后,其消息的概率分布发生了变化,即其概率空间变了.
10
1. 互信息
(1) yj对xi的互信息 I(xi;yj)
即: I(xi;yj)= I(xi)- I(xi/yj)
p(xi) ——先验概率:信源发xi的概率
p(xi/yj)——后验概率:信宿收到yj后,
推测信源发xi的概率
[含义] 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj)
*I(xi) __信宿收到yj之前,对信源发xi的不确定度
* I(xi/yj) __信宿收到yj之后,对信源发xi的不确定度
* I(xi;yj) __收到yj而得到(关于xi )的互信息
=不确定度的减少量
互信息