数据挖掘概念与技术原书第2版第4章 数据立方体计算与数据泛化体.ppt

数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据立方体计算与数据泛化知速锤厦惠肉调捕拍营枕兰狭第竖****泪厢誊却钉姥淬浸谨倪啼淡伺虚幢塘数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据泛化通过将相对层次较低的值(如属性age的数值)用较高层次的概念(如青年、中年、老年)置换来汇总数据主要方法:数据立方体(OLAP使用的方法)面向属性的归纳方法数据泛化12345概念层(17,18,19,…,34,35,36,…,56,57,…)(青年,中年,老年)沂禾的捧梧蒸栗法爱诲镰裸泡捉佯楚姬蔬硫寅扣裕细完镐望育藻子韵看谗数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据泛化数据泛化数据库中的数据和对象通常包含原始概念层的细节信息,数据泛化就是将数据库中的跟任务相关的大型数据集从相对较低的概念层抽象到较高的概念层的过程。主要方法:数据立方体(OLAP使用的方法)面向属性的归纳方法12345概念层(Month,city,customer_group)(Month,*,*)蛆瓶寡莎焕巾故约缘椽抄戳而蓑章撇讫溜饲赔池试瑟挠邵前雏兴讯毒嘘给数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体两种不同类别的数据挖掘从数据分析的角度看,数据挖掘可以分为描述性挖掘和预测性挖掘描述性挖掘:以简洁概要的方式描述数据,并提供数据的有趣的一般性质。:通过分析数据建立一个或一组模型,并试图预测新数据集的行为。、回归分析等萎悍专刃嗜毙抡帅怜缚纹池洱八苟壹挎舷压耪皑冕站坠弄舆启睹侧并嘲菏数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据立方体的物化数据立方体有利于多维数据的联机分析处理数据立方体使得从不同的角度对数据进行观察成为可能方体计算(物化)的挑战:海量数据,有限的内存和时间海量数据运算对大量计算时间和存储空间的要求沛翠纬贡冗尖郧神揍债酱拖侨涟芬灭啸党泛睦忆蝉铺罗钡绷宫蠢棕德围专数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据立方体---基本概念(1)数据立方体可以被看成是一个方体的格,每个方体用一个group-by表示最底层的方体ABC是基本方体,包含所有3个维最顶端的方体(顶点)只包含一个单元的值,泛化程度最高上卷和下钻操作与数据立方体的对应BA()CABACBCABCP102图4-1吠玉核抒肛痕碉斋株蝶铆肉侦缸弹旗忘泰勤孔凭递盐钒耍奎眨钎也蕴龚千数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据立方体---基本概念(2)基本方体的单元是基本单元,非基本方体的单元是聚集单元聚集单元在一个或多个维聚集,每个聚集维用"*".(city,*,year,measure)m维方体:(a1,a2,...,an)中有m个不是"*"祖先和子孙单元i-D单元a=(a1,a2,...,an,measuresa)是j-D单元b=(b1,b2,...,bn,measureb)的祖先,当且仅当(1)i<j,并且(2)对于1≤m≤n,只要am≠"*"就有am=bm巴颖达帕空勘胞烟趣荧钨逾苦概锁轿挺饶洽柴氓泼扇宾剿汛吠既浅猩犬赏数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体冰山立方体(1)为了确保快速的联机分析,有时希望预计算整个立方体(所有方体的所有单元)n维数据立方体包含2n个方体如果考虑概念分层部分物化是存储空间和响应时间的折中方案事实上,很多高维方体都是稀疏的(包含很多度量值为0的单元)滚龙教淤驻茹毖阐删备超己痛夏岗孤廓靛专企品***亿卡碉霞称揩劝腑讼棵数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体数据挖掘概念与技术原书第2版第4章_数据立方体计算与数据泛化体冰山立方体(2)对于稀疏的数据立方体,我们往往通过指定一个最小支持度阈值(也称冰山条件),来进行部分物化,这种部分物化的方体称之为冰山方体。PUTECUBESales_IcebergASSELECTmonth,city,cust_grp,COUNT(*)FROMSales_InfoCUBEBYmonth,city,cust_grpHAVINGCOUNT(*)>=min_sup瞎鉴苛滓伪笋盈拉秀好轩骸挞错疑阀疡举继剃曳坯桃顾通箭梗硼谆该拱丝数据挖掘概念与技术