数据挖掘技术.ppt

1
数据挖掘技术
1综述
2
为什么要数据挖掘?
数据的爆炸性增长:从TB到PB
丰富数据的来源:商业:WEB、电子商务、交易数据、股市...科学:遥感、生物信息学、科学模拟,社会及每个人:新闻、数码相机
我们被数据所淹没,但却渴望知识
“需要是发明之母”
-数据挖掘:海量数据的自动分析技术
3
数据库技术的演化
60-70年代:网络数据库、层次数据库
70-80年代:关系数据库模型和原型系统
80-90年代:各种高级数据模型、各类以应用为导向的数据库。
90-今:数据挖掘、数据仓库、多媒体数据库、WEB
4
什么是数据挖掘?
数据挖掘(从数据中发现知识)
从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识
数据挖掘的替换词
数据库中的知识挖掘(KDD)
知识提炼
数据/模式分析
数据考古
数据捕捞、信息收获等等。
5
6
在今天,NBA的教练有了他们的新式武器:决策支持下的数据分析。大约20个NBA球队使用了IBM公司开发的数据挖掘软件来优化他们的战术组合。
该软件就因为研究了魔术队队员不同的布阵,在魔术队与迈阿密热队的比赛中找到了获胜的机会。
(1) 系统分析显示魔术队先发阵容中的两个后卫哈德卫和伯兰在前两场中被评为-17分,这意味着他俩在场上,本队输掉的分数比得到的分数多17分。然而,当哈德卫与替补后卫阿姆斯创组合时,魔术队得分为正14分。
(2) 在下一场中,魔术队增加了阿姆斯创的上场时间。此招果然见效:阿姆斯创得了21分,哈德卫得了42分,魔术队以88比79获胜。
有趣的数据挖掘----美国NBA
7
零售业
用于识别顾客的购买模式,在顾客的统计特征中发现关联,预测促销活动的反应,进行市场分析。
啤酒和尿布的的关系,我们非常熟悉!
如在购买面包和黄油的顾客中,有90%的人同时也买了牛奶”:(面包+黄油)→(牛奶)。
数据挖掘其他应用
8
银行

洗钱: 发现可疑的货币交易行为
二八定律:意大利经济学家帕累托发现了财富和收益间的关系,潜心研究发现,社会上的大部分财富被少数人占有,从大量具体的事实中挖掘出一个简单而让人不可思议的结论:   
如果社会上20%的人占有社会80%的财富,那么可以推测,10%的人占有了65%的财富,而5%的人则占有了社会50%的财富。
数据挖掘其他应用
9
保险
如;保险客户流失性判断
数据挖掘其他应用
收入>5万元
年龄>35岁
不易流失
易流失
是否事业单位
不易流失
易流失
Y
N
Y
Y
N
N
10
股票预设 预测一支股票的走势几乎是不可能,但是通过相关分析,可以找出一支股票的走势与另一只股票走势的潜在规律,比如数据挖掘曾经得到过这个结论:“如果微软的股票下跌4%,那么IBM的股票将在两周内下跌5%”。
医疗
探求各种疾病之间的相互关系、各种疾病的发展规律,总结各种治疗方案的治疗效果,以及对疾病的诊断、治疗和医学研究是非常有价值和发展前景的。同时,医疗数据是既有文本、
如:预测肝癌患者存活期
数据挖掘其他应用