§,对于整个信源而言,每个符号的自信息可能不同,那么,从平均意义上来说,信源每发出一个符号所含的信息量有多大?这个平均信息量称为信源的熵,也称为随机变量的熵,:设一袋中有100个球,其中80个红球,20个白球,现任取一球,:从平均意义上来说,信源每发出一个符号所含的信息量有多大? 离散随机变量的熵定义为我们也用表示这个熵,(bit)e奈特(nat)10哈特(hat)NN进制信息单位熵的单位与对数底的关系:: 设的分布为10概率,以后将经常用到这个函数, 设服从有限集上的均匀分布,即:,表示条件概率分布,则给定条件下的熵定义为而给定随机变量条件下的熵记为,它是关于的平均值,
分析化学1.2课件 来自淘豆网www.taodocs.com转载请标明出处.