模式识别-4-概率密度函数的估计.ppt

第四章概率密度函数的估计概率密度估计的基础知识参数估计理论极大似然估计(MLE)贝叶斯估计(或称最大后验估计)贝叶斯学****非参数估计理论密度估计Parzen窗估计K近邻估计(KNE)滁肥唐镁柱灯辆洱能膛柏员堂权侦婶偏踩演蛙脏辉团鸥味彩蜂奈病吐锨刊模式识别-4-概率密度函数的估计模式识别-4-概率密度函数的估计§4-1概率密度估计的基础知识贝叶斯分类器中只要知道先验概率、条件概率或后验概概率P(ωi),P(x/ωi),P(ωi/x)就可以设计分类器了。现在来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi),P(ωi/x):先假定研究的问题具有某种数学模型,如正态分布,二项分布,再用已知类别的学****样本估计里面的参数。非参数估计:不假定数学模型,直接用已知类别的学****样本的先验知识直接估计数学模型。脊芽烘扼萤铝济两衙戒统孙戎撅幽已辑雇糯祝脖弄喊垛剖娜尺阔脾提究紫模式识别-4-概率密度函数的估计模式识别-4-:样本所属的类别及类条件总体概率概率密度函数的形式已知,而表征概率密度函数的某些参数是未知的。目的在于:由已知类别的样本集对总体分布的某些参数进行统计推断,此种情况下的估计问题称为监督参数估计。非监督参数估计:已知总体概率密度函数形式但未知样本所属类别,要求推断出概率密度函数的某些参数,称这种推断方法为非监督情况下的参数估计。注:监督与非监督是针对样本所属类别是已知还是未知而言的。凯渗肋怖袖银乱终嘻推良乎仿诽遮仆版平绍痈生悼佛雄运侯霉将渔艇纶来模式识别-4-概率密度函数的估计模式识别-4-:样本中包含着总体的信息,总希望通过样本集把有关信息抽取出来。也就是说,针对不同要求构造出样本的某种函数,该函数称为统计量。:在参数估计中,总假设总体概率密度函数的形式已知,而未知的仅是分布中的参数,将未知参数记为,于是将总体分布未知参数的全部可容许值组成的集合称为参数空间,记为。、估计量和估计值:点估计问题就是构造一个统计量作为参数的估计,在统计学中称为的估计量。若是属于类别的几个样本观察值,代入统计量d就得到对于第i类的的具体数值,该数值就称为的估计值。铺芹拴速奏烁膘庚瘪鹊监彤钵撇姓湍臣歪犹秤祷秃示仓窄内旁刽蜕期南仙模式识别-4-概率密度函数的估计模式识别-4-:除点估计外,还有另一类估计问题,要求用区间作为可能取值范围得一种估计,此区间称为置信区间,该类估计问题称为区间估计。:参数估计是统计学的经典问题,解决方法很多,在此只考虑两种常用方法:一种是最大似然估计方法,另一种是贝叶斯估计方法。(1)最大似然估计:把参数看作是确定而未知的,最好的估计值是在获得实际观察样本的最大的条件下得到的。(2)贝叶斯估计:把未知的参数当作具有某种分布的随机变量,样本的观察结果使先验分布转化为后验分布,再根据后验分布修正原先对参数的估计。:评价一个估计的“好坏”,不能按一次抽样结果得到的估计值与参数真值的偏差大小来确定,而必须从平均和方差的角度出发进行分析,即关于估计量性质的定义。纸舵惭持围常仗苗座横铂延瘪痔晕拜木悸犊那兵姨碌趾侦纫供攫论舜欺驶模式识别-4-概率密度函数的估计模式识别-4-概率密度函数的估计§4-:①待估参数θ是确定的未知量②按类别把样本分成M类X1,X2,X3,…XM其中第i类的样本共N个Xi=(X1,X2,…XN)T并且是独立从总体中抽取的③Xi中的样本不包含(i≠j)的信息,所以可以对每一类样本独立进行处理。④第i类的待估参数根据以上四条假定,我们下边就可以只利用第i类学****样本来估计第i类的概率密度,其它类的概率密度由其它类的学****样本来估计。国北袋诬拷芍守鞘肋惶沂凛铜杂媒淑发壹叠亲唆标帮曼粱汇毖熟牌笼捕胆模式识别-4-概率密度函数的估计模式识别-4-:第i类样本的类条件概率密度:P(Xi/ωi)=P(Xi/ωi﹒θi)=P(Xi/θi)原属于i类的学****样本为Xi=(X1,X2,…XN,)Ti=1,2,…M求θi的极大似然估计就是把P(Xi/θi)看成θi的函数,求出使它极大时的θi值。∵学****样本独立从总体样本集中抽取的∴N个学****样本出现概率的乘积取对数:属拒碳记炽消枯若锁创谤锑晶五曝乃嘻淡马寒煮壤外吏险辑带层垛晦淖蚁模式识别-4-概率密度函数的估计模式识别-4-概率密度函数的估计对θi求导,并令它为0:有时上式是多解的,上图有5个解,(Xi/θi)防甘南莉他弓寄者属政荒筋尤珠咆扰爆登名炯凳炉所侩乌踪沈疙酌农泡僵模式识别-4