贝叶斯判别.doc

模式识别——贝叶斯判别硕4080李尧一、,编写两类正态分布模式的贝叶斯分类程序;;,统计贝叶斯判别的正确率。二、实验原理(1)贝叶斯判别原则对于两类模式集的分类,就是要确定x是属于类还是类,这要看x来自类的概率大还是来自类的概率大,根据概率的判别规则,可以得到:如果则如果则()利用贝叶斯定理,可得式中,亦称似然函数。把该式代入()式,判别规则可表示为:则则或写成:则则()这里,称为似然比,称为似然比的判决阈值。该式称为贝叶斯判别。(2)正态分布模式的贝叶斯分类器判别原理具有M种模式类别的多变量正态分布的概率密度函数为:()式中,是维列向量;是维均值向量;是协方差矩阵;为矩阵的行列式。且有;;表示对类别属于的模式作数学期望运算。可见,均值向量由n个分量组成,协方差矩阵由于其对称性故其独立元素只有个,所以多元正态密度函数完全由个独立元素所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内,其中心决定于均值向量,而其分布形状决定于其协方差矩阵,分布的等密度点的轨迹为超椭圆,椭圆的主轴与协方差矩阵的本征向量的方向一致,主轴的长度与相应的协方差矩阵的本征值成正比。类别的判别函数可表示为:对于正态密度函数,可对判别函数取自然对数,即:将()代入上式,简化后可以得到: 这是正态分布模式的贝叶斯判别函数。显然,上式表明是超二次曲面,所以对于两类正态分布模式的贝叶斯分类器,两个模式类别之间用一个二次判别界面分开,就可以求得最优的分类效果。对于两类问题,判别界面方程为:即:判别条件为: 如果,则如果,则应指出,贝叶斯分类规则是基于统计的概念,因此要有大量的模式样本,才能获得最优的结果。三、,在本实验中将三组分别服从不同参数的正态分布数据两两进行分类,利用贝叶斯原理首先设定其先验概率,并从每组数据中随机抽取一定的训练样本数来进行参数估计,从而得到三组数据各自的条件概率。,利用贝叶斯判别原则进行分类实验,得到结果。,x2和x3两两进行实验,每次选取不同的先验概率和不同的训练样本数,进行训练,且训练样本是随机选取的,即在每次相同的训练样本个数的情况下所抽取的样本是不一样的。然后按照训练后的结果得到的每组的条件概率,对全部数据进行分类。各自在选取相同训练样本个数的条件下进行50次分类,然后求出50次分类的平均正确率,可得下表:先验概率训练样本数x1和x2x2和x3x1和x3P1===%%%m=%%100%m=25100%%100%m=35100%%100%m=45100%%P1===%%%m=%%100%m=25100%%100%m=35100%%100%m=45100%%100%P1===%%%m=%%100%m=25100%%100%m=35100%%100%m=45100%%