数据挖掘(8)：朴素贝叶斯分类算法原理与实践.doc

数据挖掘(8):朴素贝叶斯分类算法原理与实践隔了很久没有写数据挖掘系列得文章了,今天介绍一下朴素贝叶斯分类算法,讲一下基本原理,再以文本分类实践. 一个简单得例子朴素贝叶斯算法就是一个典型得统计学****方法,主要理论基础就就是一个贝叶斯公式,贝叶斯公式得基本定义如下:这个公式虽然瞧上去简单,但它却能总结历史,预知未来。公式得右边就是总结历史,公式得左边就是预知未来,如果把Y瞧出类别,X瞧出特征,P(Yk|X)就就是在已知特征X得情况下求Yk类别得概率,而对P(Yk|X)得计算又全部转化到类别Yk得特征分布上来。举个例子,大学得时候,某男生经常去图书室晚自****发现她喜欢得那个女生也常去那个自****室,心中窃喜,于就是每天买点好吃点在那个自****室蹲点等她来,可就是人家女生不一定每天都来,眼瞧天气渐渐炎热,图书馆又不开空调,如果那个女生没有去自修室,该男生也就不去,每次男生鼓足勇气说:“嘿,您明天还来不?",“啊,不知道,瞧情况"。然后该男生每天就把她去自****室与否以及一些其她情况做一下记录,用Y表示该女生就是否去自****室,即Y={去,不去},X就是跟去自修室有关联得一系列条件,比如当天上了哪门主课,蹲点统计了一段时间后,该男生打算今天不再蹲点,而就是先预测一下她会不会去,现在已经知道了今天上了常微分方法这么主课,于就是计算P(Y=去|常微分方程)与P(Y=不去|常微分方程),瞧哪个概率大,如果P(Y=去|常微分方程)>P(Y=不去|常微分方程),那这个男生不管多热都屁颠屁颠去自****室了,(Y=去|常微分方程)得计算可以转为计算以前她去得情况下,那天主课就是常微分得概率P(常微分方程|Y=去),注意公式右边得分母对每个类别(去/不去)都就是一样得,所以计算得时候忽略掉分母,这样虽然得到得概率值已经不再就是0~1之间,但就是其大小还就是能选择类别。后来她发现还有一些其她条件可以挖,比如当天星期几、当天得天气,以及上一次与她在自修室得气氛,统计了一段时间后,该男子一计算,发现不好算了,因为总结历史得公式:这里n=3,x(1)表示主课,x(2)表示天气,x(3)表示星期几,x(4)表示气氛,Y仍然就是{去,不去},现在主课有8门,天气有晴、雨、阴三种、气氛有A+,A,B+,B,C五种,那么总共需要估计得参数有8*3*7*5*2=1680个,每天只能收集到一条数据,那么等凑齐1680条数据大学都毕业了,男生打呼不妙,于就是做了一个独立性假设,假设这些影响她去自****室得原因就是独立互不相关得,于就是有了这个独立假设后,需要估计得参数就变为,(8+3+7+5)*2=46个了,而且每天收集得一条数据,可以提供4个参数,这样该男生就预测越来越准了。 朴素贝叶斯分类器讲了上面得小故事,我们来朴素贝叶斯分类器得表示形式:当特征为为x时,计算所有类别得条件概率,选取条件概率最大得类别作为待分类得类别。由于上公式得分母对每个类别都就是一样得,因此计算时可以不考虑分母,即朴素贝叶斯得朴素体现在其对各个条件得独立性假设上,加上独立假设后,大大减少了参数假设空间。在文本分类上得应用文本分类得应用很多,比如垃圾邮件与垃圾短信得过滤就就是一个2分类问题,新闻分类、文本情感分析等都可以瞧成就是文本分类问题,分类问题由两步组成:训练与预测,要建立一个分类模型,至少需要有一个训练数据集。贝叶斯模型可以很自然地应用到文本分类上:现在有一篇文档d(Document),判断它属于哪个类别ck,只需要计算文档d属于哪一个类别得概率最大:在分类问题中,我们并不就是把所有得特征都用上,对一篇文档d,我们只用其中得部分特征词项<t1,t2,…,tnd>(nd表示d中得总词条数目),因为很多词项对分类就是没有价值得,比如一些停用词“得,就是,在”在每个类别中都会出现,这个词项还会模糊分类得决策面,关于特征词得选取,,计算文档d得类别转化为:注意P(Ck|d)只就是正比于后面那部分公式,完整得计算还有一个分母,但我们前面讨论了,对每个类别而已分母都就是一样得,于就是在我们只需要计算分子就能够进行分类了。实际得计算过程中,多个概率值P(tj|ck)得连乘很容易下溢出为0,因此转化为对数计算,连乘就变成了累加:我们只需要从训练数据集中,计算每一个类别得出现概率P(ck)与每一个类别中各个特征词项得概率P(tj|ck),而这些概率值得计算都采用最大似然估计,说到底就就是统计每个词在各个类别中出现得次数与各个类别得文档得数目:其中,Nck表示训练集中ck类文档得数目,N训练集中文档总数;Tjk表示词项tj在类别ck中出现得次数,,即两个词只要它们出现得次数一样,那不管它们在文档得出现位置,它们大概