贝叶斯判别.docx

模式识别一一贝叶斯判别
硕 4080 3114315011 李尧
一、实验目的
.理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序；
. 了解正态分布模式的贝叶斯分类判别函数；
.通过实验，统计贝叶斯判别的正确率。
二、实验原理
(1)贝叶斯判别原则
对于两类模式集的分类，就是要确定 x是属于%类还是缶2类，这要看x来
自孙类的概率大还是来自
。2类的概率大，根据概率的判别规则，可以得到:
如果 P(^1 |x) aP(®2 |x) 则 xS
如果 P侔 1 |x) <P(CO2 |x) 贝U x=02 ()
利用贝叶斯定理，可得 P( i |x) = p(xI i)P( i)
p(x)
式中，p(x®i)亦称似然函数。把该式代入()式，判别规则可表示为:
或写成:
P(x|1)P( 1) p(x| 2)P( 2)
p(x| '1)P( 1)：二 p(x| 2)P( 2)
I12 (x)
p(x| -1)
p(x| 2)
P( -2)
P('1)
l12 (x)
p(x| -1)
p(x| 2)
P(-2) P('1)
贝U x三，)1
则 x 2
贝U x三「1
贝U x w 0 2 ()
这里，I12称为似然比，P(«2)/ P(%) =31称为似然比的判决阈值。该式称为贝
叶斯判别
(2)正态分布模式的贝叶斯分类器判别原理
具有M种模式类别的多变量正态分布的概率密度函数为：
1 1T 1 ，一
P(x|^i)= n.——-exp[--(x-mi) Ci (x —mJ i =1,2 (13
(2二)2 G 2 2
式中，x是n维列向量；mi是n维均值向量； G是n^n协方差矩阵；|C为矩 阵G的行列式。且有 甲=E{x}; Ci = Ei {x-mi '(x —mi T }; E—x}表示对类 别属于劭的模式作数学期望运算。
可见，均值向量mi由n个分量组成，协方差矩阵Ci由于其对称性故其独立 元素只有Mn2D个，所以多元正态密度函数完全由n+nn士义个独立元素所确 2 2
定。取自一个正态总体的样本模式的分布是聚集于一个集群之内， 其中心决定于
均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆， 椭圆的主轴与协方差矩阵的本征向量的方向一致， 主轴的长度与相应的协方差矩
阵的本征值成正比。
类别的判别函数可表示为：di(x) = P(xp ■i)PC ,i)
对于正态密度函数，可对判别函数取自然对数，即：
di(x) = ln[P(x| i)] ln P( i)
将()代入上式，简化后可以得到：
di (x) =ln P侬i) —；lnCi -：(x—mi)TC「(x - mi))
这是正态分布模式的贝叶斯判别函数。显然，上式表明 di(x)是超二次曲面，所
以对于两类正态分布模式的贝叶斯分类器， 两个模式类别之间用一个二次判别界
面分开，就可以求得最优的分类效果。
对于两类问题，判别界面方程为：d1 x -d2 x =0
即：P(x| '1)P( '1) -P(x| '2)P( -2) =0
判别条件为： Wd1(x)-d2(x)>0,则x w81
如果 d1(x)—