《模式识别》第二章-概率密度函数估计.ppt

《模式识别》《PatternRecognition》概率密度函数估计佘勇课件密码:kys2006Tel:**********Email:******@:科教楼110斩象敬浚游溯革绳霜惹苯位项他寡狐彦被妖一纫俐塘翻姨詹敛密孪从徘夏《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计贝叶斯分类器设计的关键要求贝叶斯分类器是基于样本的概率分布的分类器,设计贝叶斯分类器的关键是:决策类别数已知(c类)先验概率P(ωi)已知类条件概率密度p(x|ωi)已知期误渍喳纲妹慈悍拴来灵隅关新历招竣砰格屠西香娜茶裕掏扣渺汀善显聘《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计设计贝叶斯分类器时可能的已知条件关于样本1、已知类别的训练样本2、样本类别未知,但有其它可用信息关于类别的概率分布1、已知先验概率P(ωi),类条件概率密度p(x|ωi)的形式已知,但部分分布参数未知2、已知先验概率P(ωi),类条件概率密度p(x|ωi)完全未知3、先验概率P(ωi),类条件概率密度p(x|ωi)完全未知庶砖酉邦京列装鬼钮僚和佃腻贝咐诺居灿聋由绑椿服颜雾益窗妆训飘蚂龋《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计贝叶斯分类器设计步骤1、利用已知或未知类别的样本信息估计先验概率P(ωi),类条件概率密度p(x|ωi)(分别表示为)2、利用估计量设计决策函数,完成分类器设计我们希望:当样本数目N→∞时,收敛于P(ωi),p(x|ωi)诺凳粹咀丁磕攫且酝燎马创朋硕挎殖酣望遗璃粱仟馅小丧过境棋带痈隘啡《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计利用样本集估计概率密度函数估计参数估计非参数估计监督参数估计非监督参数估计最大似然估计贝叶斯估计与学****已知概率密度函数形式,未知其某些参数概率密度函数形式未知样本类别已知样本类别未知估计参数确定而未知估计参数是随机量,其先验分布已知辈椿弛室泵植耿砾测橇凝学拧吟贸布窗藏靡裕句筑姑末您方骑豫茎惟午憋《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计最大似然估计最大似然估计基于以下假设:①待估参数θ是确定的未知量②按类别把样本分成c类X1,X2,X3,…XC,其中第i类Xi的样本共N个Xi=(x1,x2,…,xN)T,并且是从概率密度为p(x|ωi)总体中独立抽取的③Xi中的样本不包含θj(i≠j)的信息,所以可以对每一类样本独立进行处理④条件概率密度p(x|ωi)具有确定的函数形式,其参数θi未知,可以表示为p(x|θi)根据假定,可以只利用第i类训练样本来估计第i类的概率密度函数的参数,设θi=(θ1,θ2,…,θP)T。秽肠诛烈险株憋寻蔫烙伴凸埂故享痕爽讨凰掂霓蘑噎耙肛渠轿幸疹轩取锡《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计似然函数设第i类样本集Xi的样本共N个Xi=(x1,x2,…,xN)T,是从概率密度为p(x|θi)总体中独立抽取的,则联合密度:我们把N个随机变量的联合密度称为似然函数l(θi)宦橱倒应慑甭轰揩走覆富撼槐人刹残匝托暴葵逃沮绿憾菱睁现巍初塞扇朗《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计求θi的最大似然估计如果参数空间Θ中的某个能够使l(θi)极大化,则即为θi的最大似然估计量如果θi仅有一个分量(θi为标量),则θi的最大似然估计量为下列方程的解:有时为了计算方便,可对似然函数取对数:室伶罪初几箩赃惋耘兵拱屠武镰檬技戴狰耙褂丧纫厂橙蛾哺肯感汐赘蛮硫《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计如果θi=(θ1,θ2,…,θP)T,则定义梯度算子:对于对数似然函数H(θi)=lnl(θi),下述方程其中的一个解为θi的最大似然估计:詹渠天心滴汲瞥贯取邹咖盂淌钓劈翅孺泅锚搪粥傣贰召壹伤宙抿机汗述寻《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计对θi求导,并令它为0:有时上式是多解的,上图有5个解,(Xi/θi)累祈壤芬慧豌铸龄糜备杰汪哄扔咽甩漾闹廉仔船独伴跃恼苇邑验俞朋剔笋《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计