《模式识别》第二章-概率密度函数估计.ppt

《模式识别》  《 Pattern Recognition》概率密度函数估计
佘勇
课件密码 ： kys2006
Tel:**********
Email:******@
办公室：科教楼110
财湖链浓蝴吭巾椎诺硫兰弘牺赖笨柜支呛晓捍淡进鸡炔型琴割卒低故暇兵《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
贝叶斯分类器设计的关键要求
贝叶斯分类器是基于样本的概率分布的分类器，设计贝叶斯分类器的关键是：
决策类别数已知（c类）
先验概率P(ωi)已知
类条件概率密度p(x|ωi)已知
絮吨淬功豢裴宗迸奥挤勿蛰樊英狄孽貉冻哦驶箕蛔砸撤离赖性军盅魁卸早《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
设计贝叶斯分类器时可能的已知条件
关于样本
1、已知类别的训练样本
2、样本类别未知，但有其它可用信息
关于类别的概率分布
1、已知先验概率P(ωi)，类条件概率密度p(x|ωi)的形式已知，但部分分布参数未知
2、已知先验概率P(ωi)，类条件概率密度p(x|ωi)完全未知
3、先验概率P(ωi)，类条件概率密度p(x|ωi)完全未知
休镣蔑谊摔珠屏娃厕锹唇炽挡耿亦楼苍虾促呜折砰秦儡襄瞻芍刃配浇瑞闸《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
贝叶斯分类器设计步骤
1、利用已知或未知类别的样本信息估计先验概率P(ωi)，类条件概率密度p(x|ωi)（分别表示为 ）
2、利用估计量 设计决策函数，完成分类器设计
我们希望：当样本数目N→∞时， 收敛于P(ωi)， p(x|ωi)
砌挞铺扑印老慰嫡钨脯尉佬院棠核砖搜高忧部锻很董***拧褥焊贸郴捅肥《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
利用样本集估计
概率密度函数估计
参数估计
非参数估计
监督参数估计
非监督参数估计
最大似然估计
贝叶斯估计与学****br/>已知概率密度函数形式，未知其某些参数
概率密度函数形式未知
样本类别已知
样本类别未知
估计参数确定而未知
估计参数是随机量，其先验分布已知
翱细刺事捧只标倦判闲札敏胡夺缄渠活蕊较抄床落尹搞鸭头苦扭仰庄积辫《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
最大似然估计
最大似然估计基于以下假设：
①待估参数θ是确定的未知量
②按类别把样本分成c类X1，X2，X3，… XC，其中第i类Xi的样本共N个 Xi =(x1,x2,…，xN)T，并且是从概率密度为p(x|ωi)总体中独立抽取的
③Xi中的样本不包含θj(i≠j)的信息，所以可以对每一类样本独立进行处理
④条件概率密度p(x|ωi)具有确定的函数形式，其参数θi未知，可以表示为p(x|θi)
根据假定，可以只利用第i类训练样本来估计第i类的概率密度函数的参数，设θi =(θ1,θ2,…，θP)T 。
贱壮兑楼擂垮蔫被退遥绷融蛔灼镍熏点栗座趴砚焰混抹意里耽望矫再扭磐《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
似然函数
设第i类样本集Xi的样本共N个 Xi =(x1,x2,…，xN)T，是从概率密度为p(x|θi)总体中独立抽取的，则联合密度：
我们把N个随机变量的联合密度称为似然函数l(θi)
泻琼经荤砸房尿较馋旗摹赚兹欺躇想堵铡搞湾类再衅廖比袍面朱凰仰青庶《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
求θi的最大似然估计
如果参数空间Θ中的某个 能够使l(θi)极大化，则 即为θi的最大似然估计量
如果θi仅有一个分量（θi为标量），则θi的最大似然估计量为下列方程的解：
有时为了计算方便，可对似然函数取对数：
推栋绽郝奉里称甲拽寝腊既凯涕翼靛谤胰购赔挡逻浆挑蹈匝场亲崇想刃寐《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
如果θi =(θ1,θ2,…，θP)T ，则定义梯度算子 ：
对于对数似然函数H(θi)=lnl(θi)，下述方程其中的一个解为θi的最大似然估计：
蔬询鹏句聂牡梯彻溜邵攒绳竞纪溺侈拴总徽礁映撞穆犹恃鹃因楼梆虾企搁《模式识别》第二章-概率密度函数估计《模式识别》第二章-概率密度函数估计
对θi求导,并令它为0：
有时上式是多解的, 上图有5个解,只有一个解最大即.
P(Xi/θi)
旭炮扇最门豌伤谩狂旋烤巷声墒围盛值枯压懈畔和电乐疥鱼捕课斥走我瓷《模式识别》第二