大数据时代数据挖掘及商务智能五.ppt

大数据时代数据挖掘及商务智能五
第一页，共106页。
第五局部
数据挖掘技术
*
第二页，共106页。
数据挖掘技术概览
数据库技术:
1. 海量数据的存储 2. 海量数据的检索
统计技术: 1. 相关分析； 2. 回归分析〔线性，非线性、多元等回归〕 3. 关联规那么； 4. 贝叶斯分析〔贝叶斯分类，贝叶斯网络〕
5. 序列分析、时间序列分析
机器学****技术： 2. 神经网络 3. 遗传算法
4. 基于例如的学****推理〕 5. 聚类
数学方法： 1. 粗糙集〔Rough Sets〕 2. 模糊逻辑方法；
网络技术： 1. 有效的搜索引擎 2. 有效的文本〔信息〕检索
Web Mining〔网络挖掘〕 Text Mining 〔文本挖掘〕
可视化技术
*
第三页，共106页。
数据挖掘的根本技术
关联规那么
分类与预测方法
聚类方法
异常点分析
*
第四页，共106页。
1 关联规那么
用 X →Y〔s, c〕表示。
X：一些事务
Y：另一些事务
X →Y：X,Y 事务之间存在关联
s: 存在X,Y 事务占整
个事务的比例
c: 存在X事务，有多少
还存在Y。
TID
D中的项目
T100
T200
T300
T400
T500
T600
T700
T800
T900
I1 I2 I5
I2 I4
I2 I3
I1 I2 I4
I1 I3
I2 I3
I1 I3
I1 I2 I3 I5
I1 I2 I3
事务数据库D
*
第五页，共106页。
*
第六页，共106页。
起因：从零售商店引起，后推广到许多行业。
一个顾客购置一些商品可能会购置另一些商品
买〔面包,水果〕还会买〔牛奶 ，鸡蛋〕
第一有多少人会同时购置，这样人占整个人群的比例。
第二 买了〔面包,水果〕的人中有多少还会买〔牛奶,鸡蛋〕
关联规那么就是一事物发生可能性，发生概率的大小
〔支持度s support〕
一事物发生另一事物跟着发生的可能性
〔置信度c confidence〕。
如 〔面包,水果〕→〔牛奶 ，鸡蛋〕(1%,40%)
〔收入高，大学毕业〕 →〔旅游，购股票〕〔5%，30%〕
用 X →Y〔s, c〕表示。
*
第七页，共106页。
一个食品店购物数据库例子
面包 5 占 %
牛奶 4 占 50%
水果 3 占 %
面包,牛奶 3 占 %