《模式识别》第2章贝叶斯决策理论.ppt

第二章贝叶斯决策理论§§§§§§(ThomasBayes)是英国数学家,1702年出生于伦敦,1761年4月17日卒于坦布里奇韦尔斯。贝叶斯是一位自学成才的数学家,生前是位受人尊敬英格兰长老会牧师。1742年,贝叶斯被选为英国皇家学会会员。ThomasBayes,一位伟大的数学大师,他的理论照亮了今天的计算领域,和他的同事们不同:他认为上帝的存在可以通过方程式证明,他最重要的作品被别人发行,而他已经去世241年了。搜索巨人Google使用了贝叶斯定理为数据搜索提供近似的(但是技术上不确切)结果。数学家贝叶斯是N个互斥事件,这一集合构成了样本空间,因此事件B构成了的一部分现在事件A是的一个子集,可以表示为:由于是相互排斥的§(1702-1761)这就是著名的贝叶斯规则鉴于事件A已经发生,现在,我们提出问题:B事件里任何单一事件发生的概率是多少?§,能不能避免错分类,做到百分之百正确?怎样才能减少错误?错分类往往难以避免,因此就要考虑减小因错分类造成的危害损失,那么有没有可能对危害大的错误严格控制?什么是先验概率、类概率密度函数和后验概率?它们的定义和相互关系如何?贝叶斯公式正是体现三者关系的式子。§:统计模式识别的一个基本方法理论上的最优性能分类错误概率与风险最小衡量其他分类器设计方法的标准贝叶斯决策的要求:要决策分类的类别数是一定的各类别总体的概率分布是已知的§,假设对要识别的物理对象有d种特征观察,这些特征的所有可能的取值范围构成了d维特征空间。称向量为d维特征向量。假设要研究的分类问题有c个类别,类型空间表示为:§§§§§§,对于同一个问题,采用不同的标准会得到不同意义下“最优”的决策。贝叶斯决策常用的准则:最小错误率准则最小风险准则Neyman-Pearson(奈曼–皮尔森)准则最小最大决策准则序贯分类决策§§:类条件概率:后验概率:贝叶斯公式未获得观测数据之前类别的分布观测数据在各类别情况下的分布X属于哪一类的概率其中:§