监督学习算法学习笔记.docx

监督学****br/>1基本概念
监督学****又称为分类(Classification)或者归纳学****Inductive Learning)。几乎适 用于所有领域，包括文本和网页处理。给出一个数据集D,机器学****的目标就是产生一 个联系属性值集合A和类标g A {=l 广4、…广&}} d o
/?, = innpuri ty EvaJ -2( A h
cmlfiir
Select e Hh --hi，-・勺that gives the biggest impurity roductiari,
tonipulcd u^ing
ii 9 — & < d then !i duts- uni signilitanlly Lmpurity /*c
make Ta leaf node labeled witfi the most frcqu-cnit Mai监 in £>.
the "abk to roduicc irnpurriiy 如
Make Ta decision node in 4庆
Let the possible uf be vis 巧, …i i畚 Partilkm D hulo w
disjoint ^ubs-et^ Dlt D2l …「& based an the m values of .4K-
for each DJ in {£>( h M do
IX ifZ^^[3ihi?n
create a branch (edge) node F^fcir v^as a child node of £
deci 晶ionTne或耳 A T&K 们七诂 rernoved
mdif
riiiirur
end if
cndlf
图2-2决策树学****算法
该算法最核心的思想就是选择能最大限度降低类别混杂度的属性作为决策点。其中的第
7行使用熵的公式计算：
entropy(D)= 一刃 Pr(c )log Pr(c )
j=1
乙 Pr(c ) = 1
j
j=1
熵在这里代表一个集合的无序程度，集合中的熵偏小，说明该集合中的大部分元素都是
同质的。
第9行计算划分后的熵大小。采用如下公式：
D
entropy (D)=乙 一j x entropy (D )
1 j=1
其中v是划分后子集的个数。
信息增益计算公式如下：
gain(D, A) = entropy(D) - entropy (D)
信息增益用来衡量混杂度的减少量。算法第11行进行这个操作，选择最大的Ag使得混 杂度的减少量达到最大。
3分类器的评估标准
主要的评估标准就是分类精度，它是用在测试集中被正确分类的数据数量除以测试 集中的数据数量得到。
在一些实际应用中，我们仅对数量占少数的类别感兴趣，那些用户感兴趣的类别通 常称为正例类别，其他类别称为负例类别。
查准率、查全率和F-score是评价分类器的三个常用指标，通过混合矩阵，我们可 以很方便地得到查准率和查全率两个数据，混合矩阵(如表3-1)中包含数据的真实情 况和分类器的预测结果。
TP
FN
FP
TN
实际上为正例
实际上为负例
表3-1分类器的混合矩阵
分类器认为是正例 分类器认为是负例
根据上述混合矩阵，正例类别的分类查准率(p)和查全率(r)定义如下
TP TP
p = , r =
TP + FP TP + FN
尽管查准率和查全率理论上是不相关的，但是在实际应用中，高查准率往往实在牺 牲查全率的情况下得到的。同样，高查全率是在牺牲高查准率的情况下得到的。在实际 应用中到底哪个标准更重要取决于这个应用，如果仅用一个指标来衡量分类器的性能， 此时常使用F-score：
F=业
p + r
F-score是查全率和查准率的调和平均值。两个数值的调和平均值更加倾向于两个数当中 较小的那个。因此，如果想得到较高的F-score，则p和r都必须很高。
4朴素贝叶斯分类

条件概率：设A, B是两个事件，且Pr(A)>0称Pr( BIA)=史竺)为在条件A下发生的 Pr( A)
条件事件B发生的条件概率。
乘法公式： 设 Pr(A) > 0 则有 Pr(AB) = Pr(BI A)Pr(A)
全概率公式：设随机事件A『A2，...，An以及B满足：(1) A『A2，…，An两两互不 相 容；(2) U A广 S 或 者 B u U A〃 ； (3) Pr(A) > 0 (n=1,2,...)，贝U 有
n=1 n=1
P B (=3 APB (A ,)称为全概率公式。
n = 1
全概率公式的应用：把事件B看作是某一个过程的结果，把％，A2,…，