基于EM算法的混合模型参数估计.doc

基于EM算法的混合模型参数估计作者:樊菊兰来源:《科教导刊·电子版》2018年第06期        摘要有限混合模型是用于分析复杂问题的一个有效的建模工具。在诸多的混合模型中,混合高斯模型的应用更为广泛,尤其是在图像处理、人脸识别、通信和信号处理等。理论及数值试验充分证明:混合高斯分布模型能够逼近任何一个光滑分布,而对该模型参数的有效估计是准确分析、模拟复杂问题的必要前提。EM算法自从提出,就已成为一种非常流行地处理不完全数据的极大似然估计的方法。恰好我们经常处理的样本数据集通常可看作是不完全数据,进而EM算法就为混合高斯模型的参数估计提供了一种标准框架。        关键词EM算法R软件混合模型高斯混合参数估计        中图分类号:O212文献标识码:A        0引言        EM算法就是一种一般的从“不完全数据”中求解模型参数的极大似然估计的方法,它是在观察数据的基础上添加一些“潜在数据”,从而简化计算并完成一系列简单的极大化或模拟。EM算法的每一步迭代中包括一个E步――期望步(ExpectationStep)和一个M步——极大似然步(MaximumLikelihoodStep)。算法的优势在于它在一定意义下可靠地收敛到局部极大,也就是说在一般条件下每次迭代都增加似然函数值,当似然函数值是有界的时候,迭代序列收敛到一个稳定值的上确界。缺点是当缺失数据比例较大时候,它的收敛比率比较缓慢。混合分布是有限个分布的组合,它综合了各个分支的性质和特点,它具有许多优势:        (1)可以用来模拟复杂的数据或问题。由于混合模型拥有许多不同类型的混合形式,有相同总体的混合,也有各种不同总体的混合。因此,可以根据数据的不同情况,来选择与之相符的混合模型来进行模拟。        (2)为同性质和异性质的模拟提供了一个方法。当m=l时,该模型就是一个单一分布。当m〉l时,它就是分布的线性组合。在现实生活中,许多现象都非常复杂,不同元素往往具有各不相同的性质,这时,混合模型是一个最合适的工具,因为它可以把元素所满足的分布都综合起来,组合成一个新的分布,在这个新的混合分布的基础上,再进行下一步的分析。它具比单一分布有更多的益处。        综上所述,混合分布可以对大量的数据进行有效的模拟,尤其是在对数据先验知识了解较少的情况下,混合分布是一个很好的选择,它更加灵活、有效。        1同分布同类型的混合分布        一种类型的混合分布有:二项分布,指数分布,泊松分布,正态分布等等。下面我们以二项分布和正态分布为例研究混合分布的EM算法的过程。                L阶混合二项分布的概率密度函数为        其中,且为未知参数。        现在设是来自于混合二项分布的样本。我们的目的是求未知参数的极大似然估计。为此先考査其对数似然函数        不难看化直接求它的最大值点很难,我们下面将推导该问题的EM算法:        引入潜在变量,其中,且相互独立,是取值为0或1的指示变量,表示来自于第j个分支密度,且        (高斯分布)的EM算法估计        随着社会、科学的不断发展,混合模型已经越来越被大家熟悉和认识。有限混合高斯分布的