分类预测--决策树方法.ppt

2018/2/1
数据库新技术(数据挖掘)
1 / 34
4. 建立模型之决策树
分类预测的概念
什么是决策树
决策树的核心问题
决策树的生长,模型建立
决策树的修剪

信息熵和信息增益
修剪算法
2018/2/1
数据库新技术(数据挖掘)
2 / 34
分类预测概念
目的(通用)
学****模型建立的算法
了解该算法在相应数据挖掘问题中的应用
分类预测的含义
分类预测算法的类型
2018/2/1
数据库新技术(数据挖掘)
3 / 34
分类预测概念
目的(通用)
分类预测的含义
通过对现有数据的学****建立起拟合数据的模型
利用该模型对未来新数据进行分类,具备预测能力
分类预测算法的类型
2018/2/1
数据库新技术(数据挖掘)
4 / 34
分类预测概念
目的(通用)
分类预测的含义
分类预测算法的类型
分析新数据在离散型输出变量上的取值分类决策树
分析新数据在数值型(连续)输出变量上的取值回归决策树
2018/2/1
数据库新技术(数据挖掘)
5 / 34
聚类、分类和模式识别
聚类
子集划分,把一个集合分割为无交集的子集;
模式分类
标识出样本归属的子集(标签)
模式识别
标识出样本对应的个体(样例)本身,或标识出样本所属子集本身(如考古、物种鉴别等)
【注】样本,只需是个体或集合的特征表示
2018/2/1
数据库新技术(数据挖掘)
6 / 34
从二分类问题开始
很多问题可以归结为
上课****题,以及考试都不是目的,只是为一个结果:及格?通过?优秀
看电影:这是好人还是坏人
求职:多项测试之后,决定喜欢还是不喜欢?满意还是不满意?
研究方向:Major in or out
在上述选择过程中,涉及到多个因素,如何比较不同因素重要性的差别?
2018/2/1
数据库新技术(数据挖掘)
7 / 34
在“虚度的日子”的判别中最关键的是哪一个因素?
睡眠时间:6/7/8/9/10
成功事例数目:1/2/3
开心指数:快乐、忧伤、愤怒、平淡、无聊
人际交往:有成效、封闭
健康指数:生病、恢复、亚健康、正常
学思比数:10:1,3:1,2:1,1:2
2018/2/1
数据库新技术(数据挖掘)
8 / 34
基于树型结构的排序算法
树中节点的位置的确定和调整是通过对每一个节点中某个特定域的属性值排序决定,
通常,树中节点都具有该属性
二叉排序树
堆排序
如果树中节点没有现成的公共属性,无法据以比较节点以安排其在生成树中位置,怎么办?
2018/2/1
数据库新技术(数据挖掘)
9 / 34
2. 什么是决策树
决策树来自决策论, 由多个决策分支和可能的结果(包括资源成本和风险) 组成,用来创建到达目标的规划;
A Decision tree is a tree with branching nodes with a choice between two or more choices.
也可以用来表示算法。
分类预测:决策树表示
决策树学****结果:表示为决策树形式的离散值(布尔)函数;
Node, test attributes
Branches, values
Root Node, first attribute
Leaf Nodes, discrete values
决策树的表示?
2018/2/1
数据库新技术(数据挖掘)
10 / 34
两类问题, 右图
IF (Outlook = Sunny) ^ (Humidity = High)
THEN PlayTennis =?
IF (Outlook = Sunny)^ (Humidity = Normal)
THEN PlayTennis = ?
两步骤求解过程:
Training examples:
Day Outlook Temp. Humidity Wind Play Tennis
D1 Sunny Hot High Weak No
D2 Overcast Hot High Strong Yes
1. 归纳推理求得一般性结论(决策树生成学****br/>2. 由决策树演绎推理得到新样例对应的结果;
Outlook
Sunny
Overcast
Rain
Humidity
Yes
Wind
High
Normal
Yes
No
Strong
Weak
Yes
No
决策树学****和分类预测