决策理论与方法——智能决策理论与方法.ppt

决策理论与方法——智能决策理论与方法智能决策理论与方法1、智能决策理论的形成背景2、知识发现3、机器学****4、不确定性理论机器学****机器学****是从模拟人类的学****行为出发,研究客观世界和获取各种知识与技能的一些基本方法(如归纳、泛化、特化、类比等),并借助于计算机科学与技术原理建立各种学****模型,从根本上提高计算机智能和学****能力。研究内容是根据生理学、认知科学对人类学****机理的了解,建立人类学****的计算模型或认知模型;发展各种学****理论和学****方法,研究通用的学****算法并进行理论上的分析;建立面向任务且具有特定应用的学****系统。机器学****归纳学****泛化归纳学****是指从给定的关于某个概念的一系列已知的正例和反例中归纳出一个通用的概念描述。泛化(Generalization)是用来扩展一假设的语义信息,使其能够包含更多的正例。泛化所得到的结论并不总是正确的。常用泛化方法:将常量转为变量规则:对于概念F(v),如果v的某些取值a,b,…使F(v)成立,则这些概念可被泛化为:对于v的所有值,F(v)均成立:机器学****归纳学****泛化消除条件规则:一个合取条件可看作是对满足此概念的可能实例集的一个约束。消除一个条件,则该概念被泛化。添加选项:通过添加更多条件,使得有更多的实例满足概念而使该概念泛化。该规则特别有用的方式是通过扩展某个特定概念的取值范围而增加选项。将合取转为析取规则机器学****归纳学****泛化爬升概念树规则:通过爬升概念树,低层概念被较高层概念替代。设A表示信息系统中的某个属性如Animal,a,b,…分别为对象u,v,…在属性A上的取值,若s是概念树上a,b,…的父结点,则基于概念树爬升的泛化规则表示为:Nick等人给出了一种面向属性的归纳算法。过度泛化问题当某个属性被爬升至过高的概念层会导致冲突的产生,这种现象称为过度泛化。克服过度泛化必须有相应的终止泛化算法的策略。机器学****归纳学****泛化动物哺乳类鸟类企鹅食肉类蹄类飞禽类走禽类虎印度豹长颈鹿斑马信天翁鹰驼鸟第1层第2层第3层第4层机器学****归纳学****决策树决策树学****是以实例为基础的归纳学****算法。所谓决策树是一个类似流程图的树结构,其中树的内结点对应属性或属性集,每个分枝表示检验结果(属性值),树枝上的叶结点代表所关心的因变量的取值(类标签),最顶端的结点称为根结点。决策树学****采用自顶向下的递归方式,在决策树的内部结点进行属性值比较并根据不同的属性值判断从该结点向下的分支,在叶结点得到结论。从根结点到每个叶结点都有唯一的一条路径,这条路径就是一条决策“规则”。当经过一批训练实例集的训练产生一颗决策树,那么该决策树就可以根据属性的取值对一个未知实例集进行分类。所有的决策树都有一等价的ANN表示;也可用SVM实现相同的功能。机器学****归纳学****决策树A0A1A2A3类0000-10001-10010-10011-1010010101**********A0A1A2A3类1000-11001-11010-11011-111001110111110-11111-1A0A1A1A2-11-11-110010110机器学****归纳学****决策树概念学****系统CLS(Hunt):从一颗空的决策树出发,添加新的判定结点来改善原来的决策树,直到该决策树能够正确地将训练实例分类为止。产生根节点T,T包含所有的训练样本;如果T中的所有样本都是正例,则产生一个标有“1”的节点作为T的子节点,并结束;如果T中的所有样本都是反例,则产生一个标有“-1”的节点作为T的子节点,并结束;选择一个属性A(如何选?),根据该属性的不同取值v1,v2,…,vn将T中的训练集划分为n个子集,并根据这n个子集建立T的n个子节点T1,T2,…,Tn,并分别以A=vi作为从T到Ti的分支符号;以每个子节点Ti为根建立新的子树。