决策树建模.ppt

决策树建模
第1页，本讲稿共44页
§ 数据分类介绍
分类是数据挖掘的一个重要课题, 它的目的是：
构造一个分类函数或分类模型, 该模型能把数据库中的数据项映射到给定类别中的某一个。
数据分类的过程一般来说主要包的基本知识-2
决策树通常有两大类型，分别为分类决策树和回归决策树。
分类决策树用来实现对定类或定序目标变量的分类，回归决策树则完成对定距目标变量取值的预测。
根据决策树各种不同的属性，可分为以下几类:
决策树内节点的测试属性可能是单变量的，即每个内节点只包含一个 属性; 也可能是多变量的，既存在包含多个属性的内节点。
测试属性的不同属性值的个数，可能使得每个内节点有两个或多个 分枝。如果一棵决策树每个内节点只有两个分枝则称之为二叉 决策树，如由CART算法生成的决策树。
每个属性可能是值类型(连续值)，也可能是枚举类型(离散值)。
分类结果既可能是两类也有可能是多类，如果二叉决策树的结果只有 两类，则称之为布尔决策树。
第16页，本讲稿共44页
决策树的基本知识-2
决策树学****是应用最广的归纳推理算法之一。它是一种逼近离散函数值的方法，分类精度高，操作简单，并且对噪声数据有很好的稳健性，因而成为比较实用且比较流行的数据挖掘算法。
它的最大优点是，在学****过程中不需要使用者了解很多背景知识，只要训练样本集能够用“属性-值”的方式表达出来就能使用决策树学****算法来分类。
第17页，本讲稿共44页
决策树的基本知识-2
决策树方法的(相对)优点:
可以生成可理解的规则数据挖掘产生的模式的可理解度是判别数据挖掘算法的主要指标之一，相比于一些数据挖掘算法，决策树算法产生的规则比较容易理解，并且决策树模型的建立过程也很直观。
计算量较小。
可以处理连续和集合属性。
决策树的输出包含属性的排序生成决策树时，按照最大信息增益选择测试属性，因此，在决策树中可以大致判断属性的相对重要性。
第18页，本讲稿共44页
决策树的基本知识-2
决策树方法的缺点:
对于具有连续值的属性预测比较困难。 -
对于顺序相关的数据，需要很多预处理的工作。
当类别太多时，通常会增加误差
分枝间的拆分不够平滑，进行拆分时，不考虑其对将来拆分的影响。
缺值数据处理问题: 因为决策树进行分类预测时，完全基于数据的测试属性，所以对于测试属性缺失的数据，决策树将无法处理。
通常仅根据单个属性来分类: 决策树方法根据单个属性对数据进行分类，而在实际的分类系统中，类的划分不仅仅与单个属性有关，往往与一个属性集有关。因此，将决策树算法推广到考虑多属性是一个有待研究的课题。
第19页，本讲稿共44页
决策树的基本知识-2
决策树学****算法适用的问题:
样本可以用“属性-值”的方式来描述
目标函数的输出值为离散值
训练数据中允许包含有错误: 样本的分类错误或属性值错误都允许
训练数据中有样本属性值缺失
第20页，本讲稿共44页
§ 决策树介绍-2
决策树的应用和发展趋势
决策树由于结构简单、效率高等优点而获得了广泛的应用。在国外，决策树在商业、工业、天文、医学、风险分析、社会科学和分类学等领域的应用已经取得了很好的经济和社会效益。国内目前有关决策树的研究多是围绕算法的改进以及决策树在商业、工业等领域的运用。
在商业领域，决策树方法所能解决的典型商业问题有:客户关系 管理、数据库营销、客户群体划分、交叉销售等市场分析 行为，以及客户流失分析、客户信用计分及欺诈发现，等等。
在工业领域，决策树可以用于故障诊断、工业生产过程控制等。
在医学领域，决策树方法可用于疾病诊断治疔、 基因与高分子序列分析、医院信息系统挖掘及医疗政策分析等。
第21页，本讲稿共44页
§ 树的建模过程
第22页，本讲稿共44页
§ 树的建模过程
决策树算法通过构造决策树来发现数据中蕴涵的分类规则，包含许多种不同的算法，主要可以分为三类:
(1)基于统计学理论的方法，以CART为代表，在这类算法中，对于非终端节点来说，有两个分枝 ;
(2)基于信息理论的方法，以ID3算法为代表，此类算法中，非终端的节点的分枝由样本类别个数决定 ;
(3)以AID，CHAD为代表的算法，在此类算法中，非终端节点的分枝数在2至样本类别个数范围内分布。
这些算法在分类中应用的过程与思想基本上是一致的。
如何构造精度高、规模小的决策树是决策树算法的核心内容
第23页，本讲稿共44页
§ 树的建模过程—总体步骤
决策树的构造基本可以分为如下两步:
决策树的生成
决策树的