EM算法(讲解 程序).doc

EM算法(讲解+程序)
EM算法实验报告
一、算法简单介绍
EM 算法是Dempster,Laind,Rubin于1977年提出的求参数极大似然估计的一种方法,它可以从非完整数据集中对参数进行MLE估计,是一种非常简单实用的学****算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据,可以具体来说,我们可以利用EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计HMM中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。
本文主要是着重介绍EM算法在混合密度分布中的应用,如何利用EM算法解决混合密度中参数的估计。
二、算法涉及的理论
我们假设X是观测的数据,并且是由某些高斯分布所生成的, X是包含的信息不完整(不清楚每个数据属于哪个高斯分布)。
,
此时,我们用k维二元随机变量Z(隐藏变量)来表示每一个高斯分布,将Z引入后,最终得到:,
,
然而Z的后验概率满足(利用条件概率计算):
但是,Znk为隐藏变量,实际问题中我们是不知道的,所以就用Znk
的期望值去估计它(利用全概率计算)。
然而我们最终是计算max:
最后,我们可以得到(利用最大似然估计可以计算):
三、算法的具体描述
参数初始化
对需要估计的参数进行初始赋值,包括均值、方差、混合系数以及
E-Step计算
利用上面公式计算后验概率,即期望。。
M-step计算
重新估计参数,包括均值、方差、混合系数并且估计此参数下的期望值。
收敛性判断
将新的与旧的值进行比较,并与设置的阈值进行对比,判断迭代是否结束,若不符合条件,,重新进行下面步骤,直到最后收敛才结束。
四、算法的流程图
五、实验结果
a_best=

mu_best=


-5cov_best= (:,:,1) = - - (:,:,2) = - - f= - 0510
数据X的分布
每次迭代期望值
-50510
利用EM估计的参量值与真实值比较(红色:真实值青绿色:估计值)
六、参考文献
1. M. Jordan. PatternRecognitionAndMachineLearning
2. Xiao Han. EM Algorithm
七、附录
close all;clear;clc;
%
%
% ******@pr-
% 2009/10/15
%%
M=2; % number of Gaussian
N=200; % total number of data samples
th=; % convergent threshold
K=2; % demention of output signal
% 待生成数据的参数
a_real =[4/5;1