朴素贝叶斯分类.doc

朴素贝叶斯分类朴素贝叶斯分类或简单贝叶斯分类的工作过程如下:(1)每个数据样本用一个n维特征向量??nxxxX,...,21?表示,分别描述对n个属性A1,A2,…An样本的n个度量。(2)假定有m个类C1,C2,…Cm。给定一个未知的数据样本X(即没有类标号),分类法将预测X属于具有最高后验概率(条件X下)的类。即是说,朴素贝叶斯分类将未知的样本分配给类Ci,当且仅当????ijmjXCPXCPji????,1,()这样,最大化??XCPi。其??XCPi最大的类Ci称为最大后验假定。根据贝叶斯定理????????XPHPHXPXHP?,????????XPCPCXPXCPiii?()(3)由于P(X)对于所有类为常数,只需要????iiCPCXP最大即可。如果类的先验概率未知,则通常假定这些类是等概率的,即P(C1)=P(C2)=…=P(Cm)。并据此只对??iCXP最大化。否则,最大化????iiCPCXP。注意,类的先验概率可以用??ssCPii?计算其中si是类Ci中的训练样本数,而s是训练样本总数。(4)给定具有许多属性的数据集,计算??iCXP的开销可能非常大。为降低计算??iCXP的开销,可以做类条件独立的朴素假定。给定样本的类标号,假定属性值相互条件独立,即在属性间,不存在依赖关系。这样,???????nkikiCxpCXP1()概率??iCXP1,??iCXP2,…??inCXP可以由训练样本估值,其中(a)如果Ak是分类属性,则??iikikssCXP?,其中sik是在属性Ak上具有值xk的类Ci的样本数,而si是Ci中的训练样本数。(b)如果Ak是连续值属性,则通常假定该属性服从高斯分布,因而,????kik221,,???????????????()其中,给定类Ci的训练样本属性Ak的值,??CCkxg??,,是属性Ak的高斯密度函数,而CC??,分别为平均值和标准差。(5)为对未知样本X分类,对每个类Ci,计算????iiCPCXP。样本X被指派到类Ci,当且仅当????????ijmjCPCXPCPCXPjjii????,1,换言之,X被指派到其????iiCPCXP最大的类Ci。贝叶斯分类的效率如何?理论上讲,与其它所有分类算法相比较,贝叶斯分类具有最小的出错率。然而,实践中并非总是如此。这是由于对其应用的假定(如类条件独立性)的不准确性,以及缺乏可用的概率数据造成的。然而种种实验研究表明,与判定树和神经网络分类算法相比,在某些领域,该分类算法可以与之媲美。贝叶斯分类还可以用来为不直接使用贝叶斯定理的其他分类算法提供理论判定。例如,在某种假定下,可以证明正如朴素贝叶斯分类一样,许多神经网络和曲线拟合算法输出最大的后验假定。:eStudentCredit_ratingClass:puter1<=30HighNoFairNo2<=30HighNoExcellentNo331…40HighNoFairYes4>40MediumNoFairYes5>40LowYesFairYes6>40LowYesExcellentNo731…40LowYesExcellentYes8<=30MediumNoFairNo9<=30LowYesFairYes10>40MediumYes