ITD第三章无失真信源编码2.ppt

单个符号变长编码定理:
若一离散无记忆信源的符号熵为H(X),每个信源符号用m进制码元进行变长编码,一定存在一种无失真编码方法,其码字平均长度满足下列不等式
第三节变长编码定理
11/10/2017
1
离散平稳无记忆序列变长编码定理
对于平均符号熵为HL(X)的离散平稳无记忆信源,必存在一种无失真编码方法,使平均信息率满足不等式
其中为任意小正数。
11/10/2017
2
证明:
设用m进制码元作变长编码,序列长度为L个信源符号,则由(3-3-1)式可以得到平均码字长度满足下列不等式
当L足够大时,可使< ,
这就得到了所需结论
11/10/2017
3
说明:
(1) 用变长编码来达到相当高的编码效率,一般所要求的符号长度L可以比定长编码小得多。可得编码效率的下界:
11/10/2017
4
(2) 例
用二进制,m=2,log2m=l,H(X)=,若要求,则
11/10/2017
5
(3) 码的剩余度为
码的剩余度用来衡量各种编码方法与最佳码的差距.
11/10/2017
6
例3-3-1
设离散无记忆信源的概率空间为
解:其信源熵为
比特/符号
求:编码效率?
11/10/2017
7
(1)定长编码
若用二元定长编码(0,1)来构造一个
即时码:
这时平均码长为
=1 二元码符号/信源符号
编码效率为(对于无记忆信源而言,有HL(X)=H(X) )
输出的信息率为
R=
11/10/2017
8
(2)变长编码
假定信源序列的长度为L=2,其即时码如表3-3所示。
序列
序列概率
即时码
x1x1
9/16
0
x1x2
x2x1
x2x2
1/16
3/16
3/16
111
110
10
11/10/2017
9
这个码的码字平均长度
单个符号的平均码长
编码效率
输出的信息率为
R2= 比特/二元码符号
11/10/2017
10