模式识别课件总顺序No4第二章NO3杨雅双071013概率密度函数估计.ppt

该【模式识别课件总顺序No4第二章NO3杨雅双071013概率密度函数估计 】是由【相惜】上传分享，文档一共【23】页，该文档可以免费在线阅读，需要了解更多关于【模式识别课件总顺序No4第二章NO3杨雅双071013概率密度函数估计 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。第三章概率密度函数的估计一引言前述是在P(wi)和p(x|wi)情况下进行讨论的。 但实际中,我们能收集到的是有限数目的样本,而未知的那么可能是: ①条件概率密度〔各类的总体分布〕p(x|wi); ②先验概率P(wi)。也许P(wi)和p(x|wi)的形式可知,但其中的参数未知。这时就利用统计推断中的估计理论:如利用样本集估计p(wi)和p(x|wi)(分别记为和)整理ppt二参数估计的根本概念1参数估计的类型(1)监督参数估计:样本所属的类别及p(x|wi)的形式为,而概率密度p(x|wi)中的一些参数是未知的。这时要由类别的样本集对总体分布的某些参数进行估计。(2)非监督参数估计:p(x|wi)的形式,但未知样本所属类别。 这时就要估计概率密度中的一些参数。注:监督与非监督参数估计的区别:样本所属类别是还是未知的。(3)非参数估计:样本所属类别,但未知p(x|wi)形式。这时就要推断出概率密度函数。整理ppt2名词解释(1)训练〔学****在p(wi)、p(x|wi)或p(wi|x)不知道或不完全知道时,而根据样本来确定他们,这项工作成为训练或学****2)总体〔母体〕:一个模式类。(3)总体的子样:一个模式类中某些模式〔总体中的一些元素〕的集合称之这个总体的子样。(4)统计量:由样本构造的函数d(xi,…,xn),即针对不同要求构造出样本的某种函数。(5)经验分布:由样本推断的分布。(6)估计:由样本按某种规那么构造的一个统计量 θ’=θ(x1,x2,…,xn),用θ’的值作为被估参数集θ的近似值。整理ppt(7)点估计:构造一个统计量d(x1,…,xn)作为参数θ的估计θ’。(8)估计量:在统计学中称θ’为θ的估计量。(9)估计值:将类别wi中的几个样本观察值x1i,…,xni代入统计量d中所求得的第i类的具体数值θ’。(10)区间估计:在一区间内对θ进行估计,此区间称为置信区间。(11)参数空间:在概率密度形式,而未知的是其所含(几个)参数时,那么未知参数(记为θ)的取值范围(即集合)称为参数空间。整理ppt三参数估计的几种常用方法1最大似然估计(1)假设:①按类别把样本集分开,设有c类,即有c个样本集?1, ?2,…,?c,其中?j的样本X=(x1,…,xn)是按类条件概率密度为p(X|wj)从总体中独立抽取的。②p(X|wj)的函数形式,但其参数向量θj未知,且θj唯一地是由p(X|wi)决定的(将其记为p(X|wj,θj),即表示p(X|wj)与θj有关。或说认为此概率密度是由θj、wj作为条件的条件概率密度)。整理ppt③参数θ是由样本集唯一地确定〔即θ是确定而未知的量〕。④假设?i类中的样本不包含θj(i≠j)的信息,即不同类别的参数在函数上是独立的。(2)现在的问题就是:从样本提供的信息来得到参数向量θ1,θ2,…,θc〔每个类得到一个参数向量θ〕的估计值。(3)最大似然估计的根本思想:如果在一次观察中一个事件X出现了,那么可认为这个事件出现的可能性很大。这里,事件X={x1,x2,…,xn}是按概率密度p(X|wi)从总体中抽出的样本,这时就认为p(X|θ)到达了最大值,使p(X|θ)到达最大值的θ’就是θ的最大似然估计。整理ppt(4)最大似然估计的求解设已得到属于同一类的N个样本,即 X={x1,…,xN}它们具有概率密度p(xk|θ)(k=1,…,N〕,且样本是独立抽取的,那么 N p(X|θ)=p(x1,…,xN|θ)=∏p(xk|θ)(2-26)k=1p(X|θ)是θ的函数〔将其称为相对于样本集X的θ的似然函数,记为l(θ)〕,即 N l(θ)=p(X|θ)=∏p(xk|θ)(2-27)k=1 注:(1)l(θ)给出了从总体中抽出x1,…,xN这样N个样本的概率。整理ppt(2)未知参数θ的最大似然估计θ’被定义为使l(θ)最大的θ值。(3)当X的N个样本确定后,似然函数l(θ)只是θ的函数。(4)但假设换一组样本,l(θ)的形式也会发生改变。即使l(θ)的值最大的θ’是样本x1,x2,…,xN的函数,记为θ’=d(x1,x2,…,xN)〔其称为θ的最大似然估计量〕。l(θ)的对数形式lnl(θ)〔记为H(θ),称其为对数似然函数),使H(θ)极大的θ同样使l(θ)取极大值。H(θ)=lnl(θ)=lnp(X|θ)=lnp(x1,…,xN|θ)(2-28)整理ppt在N个样本独立抽取时,且设参数向量在该式对θ的偏导等于零的解,就是θ’。其中梯度算子即从的s个方程中求得θ’={θ1,…,θs}。如果以上方程的解θ’能使似然函数值最大,那么θ’就是θ的最大似然估计。整理ppt注意:①有时上方程组可能有假设干解。如以下图中都是解,但只有θ’才使似然函数最大,即θ’才是最大似然估计。②有时上方程组无解,如无极值点。整理ppt