信息论基础随机过程的信息量和渐近等分性PPT学习教案.pptx

会计学
1
信息论基础随机过程的信息量和渐近等分性
随机过程的信息度量
设状态的平稳分布为 ，根据
一阶马尔科夫信源熵：
信源冗余度：
↙
第1页/共36页
随机过程的信息度量
例2：一阶马尔可夫信源的状态转移图如下图所示，信源
的符号集为
(1)求平稳后的信源的概率分布；
(2)求信源熵
解：设状态的平稳分布为
根据：
第2页/共36页
随机过程的信息度量
（2）
第3页/共36页
渐近等分性质
渐近等分性（AEP）
弱典型序列
弱典型序列的数值实例
第4页/共36页
渐近等分性质
渐近等分性（AEP）
弱典型序列
弱典型序列的数值实例
第5页/共36页
渐近等分性质
是随机变量长序列的一种重要特性，是编码定理的理论基础，
简称AEP。
当随机变量的序列足够长时,其中一部分序列就显现出一种典型的
性质：这些序列中各个符号的出现频数非常接近于各自的
出现概率，而这些序列的概率则趋近于相等，且它们的
和非常接近于1,这些序列就称为典型序列。
其余的非典型序列的出现概率之和接近于零。序列的
长度越长，典型序列的总概率越接近于1,它的各个序列的
出现概率越趋于相等。渐近等分性即因此得名。
第6页/共36页
渐近等分性质
渐近等分性有许多不同的具体形式，但一般地可以表述如下：
若X是一个符号表，共有M个不同的符号x1,x2，…,xM ,它们的出现概率分别是p1，p2，…，pM 。对X进行N次独立的选择,于是得到一个长度为N的符号序列;总共有MN个长度为N的不同序列。可以证明,对于给定的两个任意小的数ε＞0和δ＞0，一定可以找到一个正整数N0(它是X,ε和δ的某种函数)，使所有长度为N≥N0的序列可划分为以下两组：
第7页/共36页
渐近等分性质
第一组包含Wε＜MN个序列，其中各个序列都具有几乎相
等的出现概率p，且有 ?
实际上,当N充分大时,Wε=2NH ,式中H是X的符号熵。第二
组包含其余的MN-Wε个序列，它们的出现概率之和小于
ε。显然第一组包含的是典型序列,第二组包含的是非典
型序列。在各个符号的概率不相等的情况下，序列长度N
越大,则Wε与MN的差别越大,而p·Wε与1的差别越小，-
logp/N与H的差别也越小。
第8页/共36页
渐近等分性质
渐近等分性的意义在于：
对于任意取有限个值的随机变量X,当用N次独立选择
的方法来形成编码序列时,只要N 取得足够大，就可以只
考虑其中Wε个典型序列，而其余所有的非典型序列均可
以忽略。
第9页/共36页