模式识别课件第三章no(概率密度函数估计).ppt

第三章概率密度函数的估计一引言?前述是在已知P(wi)和p(x |wi)情况下进行讨论的。但实际中,我们能收集到的是有限数目的样本,而未知的则可能是:①条件概率密度(各类的总体分布)p(x|wi);②先验概率P(wi)。?也许P(wi) 和p(x |wi)的形式可知,但其中的参数未知。?这时就利用统计推断中的估计理论:如利用样本集估计p(wi)和p(x|wi) (分别记为和 )^( )ip w^( | )ip x w二参数估计的基本概念1 参数估计的类型(1) 监督参数估计:样本所属的类别及p(x|wi)的形式为已知,而概率密度p(x|wi)中的一些参数是未知的。这时要由已知类别的样本集对总体分布的某些参数进行估计。(2) 非监督参数估计:已知p(x|wi)的形式,但未知样本所属类别。 这时就要估计概率密度中的一些参数。注:监督与非监督参数估计的区别:样本所属类别是已知还是未知的。(3) 非参数估计:已知样本所属类别,但未知p(x|wi)形式。这时就要推断出概率密度函数。2 名词解释(1) 训练(学****在p(wi)、p(x|wi)或p(wi|x)不知道或不完全知道时,而根据样本来确定他们,这项工作成为训练或学****2) 总体(母体):一个模式类。(3) 总体的子样:一个模式类中某些模式(总体中的一些元素)的集合称之这个总体的子样。(4) 统计量:由样本构造的函数d(xi,…,xn),即针对不同要求构造出样本的某种函数。(5) 经验分布:由样本推断的分布。(6) 估计:由样本按某种规则构造的一个统计量θ’=θ(x1,x2,…,xn),用θ’的值作为被估参数集θ的近似值。(7) 点估计:构造一个统计量d(x1,…,xn )作为参数θ的估计θ’。(8) 估计量:在统计学中称θ’为θ的估计量。(9) 估计值:将类别wi中的几个样本观察值x1i,…,xni代入统计量d中所求得的第i类的具体数值θ’。(10) 区间估计:在一区间内对θ进行估计,此区间称为置信区间。(11) 参数空间:在概率密度形式已知,而未知的是其所含(几个)参数时,则未知参数(记为θ)的取值范围(即集合)称为参数空间。三参数估计的几种常用方法1 最大似然估计(1) 假设:①按类别把样本集分开,设有c类,即有c个样本集?1,?2,…, ?c,其中?j的样本X =(x1,…,xn)是按类条件概率密度为p(X|wj)从总体中独立抽取的。②p(X|wj)的函数形式已知,但其参数向量θj未知,且θj唯一地是由p(X|wi)决定的(将其记为p(X|wj,θj) ,即表示p(X|wj)与θj有关。或说认为此概率密度是由θj、wj作为条件的条件概率密度)。③参数θ是由样本集唯一地确定(即θ是确定而未知的量)。④假设?i类中的样本不包含θj(i≠j)的信息,即不同类别的参数在函数上是独立的。(2) 现在的问题就是:从样本提供的信息来得到参数向量θ1, θ2 ,…,θc(每个类得到一个参数向量θ)的估计值。(3) 最大似然估计的基本思想:如果在一次观察中一个事件X出现了,那么可认为这个事件出现的可能性很大。这里,事件X={x1,x2,…,xn}是按概率密度p(X|wi)从总体中抽出的样本,这时就认为p(X|θ)达到了最大值,使p(X|θ)达到最大值的θ’就是θ的最大似然估计。(4) 最大似然估计的求解?设已得到属于同一类的N个样本,即 X = {x1,…,xN}它们具有概率密度p(xk|θ) (k=1,…,N),且样本是独立抽取的,则Np(X|θ) = p(x1,…,xN|θ) = ∏p(xk|θ) (2-26)k=1 p(X|θ)是θ的函数(将其称为相对于样本集X的θ的似然函数,记为l(θ)),即Nl(θ) = p(X|θ) = ∏p(xk|θ) (2-27)k=1注:(1)l(θ)给出了从总体中抽出x1,…,xN这样N个样本的概率。(2) 未知参数θ的最大似然估计θ’被定义为使l(θ)最大的θ值。 (3) 当X的N个样本确定后,似然函数l(θ)只是θ的函数。 (4) 但若换一组样本,l(θ)的形式也会发生改变。即使l(θ)的值最大的θ’是样本x1,x2,…,xN的函数,记为θ’=d(x1,x2,…,xN)(其称为θ的最大似然估计量)。?l(θ)的对数形式ln l(θ)(记为H(θ),称其为对数似然函数),使H(θ)极大的θ同样使l(θ)取极大值。H(θ) = ln l(θ) = ln p(X|θ)= ln p(x1,…,xN|θ) (2-28)在N个样本独立抽取时,且设参数向量在该式对θ的偏导等