信息论与编码-第六章3.ppt

信息论与编码-最优译码和最大似然译码?最优译码和最大似然译码信道的输入是一个二(或 q)进制序列,而译码器的输出时一个信息序列 M的估值序列。如下图所示。译码器的基本任务就是根据一套译码规则, 由接收序列 R给出与发送的信息序列最接近(最好是相同)的估值序列 M ?M ?信息论与编码-最优译码和最大似然译码信道纠错编码器纠错译码器干扰源 0 1 1 { } ( , ,..., ) kM m m m ?),,,( }{ 110? C?),,,( }{ 110?Nrrr R? 0 1 1 ?{ } ???( , ,..., ) kM m m m ?信源编码器输出至信宿分组码数字通信模型信息论与编码-最优译码和最大似然译码?由于 M与码字 C之间存在一一对应关系,所以这等价于译码其根据 R产生一个 C的估值序列, ?显然,当且仅当时, 。这时译码器正确译码。?如果,则译码器产生错误译码。?当给定接收序列 R时,译码器的条件译码错误概率定义为 C ?CC??M M???)/ ?()/(RCCPREP??信息论与编码-最优译码和最大似然译码?所以译码器的错误译码概率为其中, 是接收 R的概率,与译码方法无关, ?译码错误概率最小的最佳译码规则是使最小,即?? R ERpREPP)()/()(Rp EP)/ ?( min )/( min PREPP E???信息论与编码-最优译码和最大似然译码?而?因此,如果译码器对输入的 R,能在个码字中选择一个使最大的码字作为 C的估值序列,即?则这种译码规则一定能使译码器输出错误概率最小,称这种译码规则为最大后验概率译码 MAP (maximum aposteriori), 也叫做最佳译码。是一种通过经验与归纳由收码推测发码的方法,是最优的译码方法。 k2)2,,2,1 )(/ ?( k P??? iCC ?)/( max ?RCpC ii?)/ ?( max )/ ?( P???信息论与编码-最优译码和最大似然译码由贝叶斯公式可知,如果发送端发送每一个码字的概率均相同,且p (R) 对所有 R也相等(信道对称均衡) , 则有)( iCp)/( max )/( max 2,,2,1 2,,2,1 i i ii CRp RCp k k?????)( )/()()/(Rp CRpCpRCp iii?信息论与编码-最优译码和最大似然译码?一个译码器如果能选择即在已知 r的情况下使先验概率最大,则这种译码规则称为最大似然译码( MLD : Maximum Likelihood) ,称为似然函数。相应的译码器称为最大似然译码器。)/( max ? 2,,2,1 i i iCRp C k???)/( iCRp 信息论与编码-最优译码和最大似然译码?由于 log x与x是单调关系,因此最大似然规则也可以写成称 log p (R/C) 为对数似然函数。????? Nj ijj i i i crp CRp k k 1 2,,2,1 2,,2,1 )/( log max )/( log max ??信息论与编码-最优译码和最大似然译码对于 DMC 信道,如果发送端发送每一个码字的概率相等,则一般可认为 MLD 就是译码错误概率最小的一种最佳译码规则。由于最佳译码要求知道后验概率 p(R/C) ,这在很多时候是很困难的,所以经常使用的是最大似然译码,在很多情况下,可以认为最大似然译码就是最佳译码。)( iCp信息论与编码-最优译码和最大似然译码对于 BSC 信道,在译码的时候,如果我们逐比特地比较发码和收码,就只有两种可能性: 相同或者不同,其概率分别是: ???????时时 j ij j ij ijjrc rcp pcrp1 )/(