模式识别 概率密度函数的估计 图文.doc

模式识别 概率密度函数的估计_图文若P(ω1、P(ω2未知,考试集由随机抽样产生,则ˆ]=ε(1−ε/NVar[ε(随样本增多方差减小)若P(ω1、P(ω2已知,考试集依P(ω1、P(ω2选择性随机抽样产生,则ˆ]=Var[ε1N∑i=12P(ωiεi(1−εi(方差更小)ˆi=ki/Ni,i=1,2,εˆ=P(ωiεˆi此时,(分类器未设计好)样本集既用于设计分类器,也用于估计错误率,因此存在设计集和考试集的划分策略问题。C-法(再代入法):考试集与设计集相同,结果偏于乐观U-法:考试集与设计集分开,结果更客观,偏于保守。样本划分法:将样本集分成两组交叉验证法(cross-validation):留一法(leave-one-out):——需要样本较多用一个样本做检验,其余N−1个样本为设计集,反复N次m-fold法:每次随机抽出1/m个样本做检验,其余样本为训练集,反复多次——计算量较大,但在样本有限是比划分法更好△讨论:有限样本下,密度函数的估计问题是一个很难的问题(不适定),比分类器设计问题甚至更难,也是一个更一般的问题。因此,通过首先估计密度函数来解决PR问题似乎不是个好主意(除非有充分的先验知识)。△小结:概率密度函数估计参数估计:概率密度函数形式已知,只未知几个参数θ„最大似然估计z似然函数l(θ=p(X|θ=∏p(xi|θi=1N对数似然函数最大似然估计量H(θ=lnl(θˆ=maxl(θl(θθ或记θˆ=argmaxl(θθ求解:连续可微条件下∇θH(θθ=θˆ=0ˆ=正态分布例:µ1N∑i=1NNxiˆ=1∑N„贝叶斯估计∑i=1ˆ(xi−µˆT(xi−µˆ看作随机变量,先验分布p(θ把θ最小化风险ˆ|xp(xdxR=∫R(θ对样本集平方误差损失函数贝叶斯估计ˆ|x=R(θ∫λ(θˆ,θp(θ|XdθΘλ(θˆ,θ=(θˆ−θ2