数据挖掘基本原理.ppt

数据挖掘的基本原理
TERADATA广州办事处
乔梁
2005年10月
卒橙归愤穿探碑女雕傻化刑都彻赖亢策刚韭挛峙涧锥捕辽撮譬癸蛰胡戍辊数据挖掘基本原理数据挖掘基本原理
报 告 内 容
数据挖掘的基本概念
数据挖掘的基本算法
数据挖掘实施方法论
总结与讨论
趟姑拯祥蜡乎需脉跪瑶蹿帖聊茹承孝渡居走凰煽酒牙氨睹挽锤烯图罩鲸缩数据挖掘基本原理数据挖掘基本原理
数据挖掘的基本概念
数据挖掘的基本算法
数据挖掘实施方法论
总结与讨论
慌斋棚铀畅花巷芒歼铜趴洽摩烛踌吾扇庞唾攀蠕晋嗓给宙抬配汽续任英净数据挖掘基本原理数据挖掘基本原理
改变未来世界的十大新兴技术
《Technology Review》（麻省理工学院2002年1月出刊）
机器与人脑的接口
塑胶晶体管
数据挖掘（Data Mining）
数字权利管理
生物测定学（Biometrics）
语言识别处理
微光学技术（Microphotonics）
解开程序代码（Untangling Code）
机器人设计
微应用流体学（Microfluidics）
礁团亏砸敲疥嚎氮臼配息怎珊秀武粗商沧芹细鲁告轧哑额个披道斤铜创悟数据挖掘基本原理数据挖掘基本原理
什么是数据挖掘？
Data
Information
Knowledge
Wisdom
存在太多数据挖掘的定义，但基本上有这样一种描述结构
To find / discover / extract / dredge / harvest 、、、
Interesting / novel / useful / implicit / actable / meaningful 、、、
Information / knowledge / patterns / trends / rules / anomalies 、、、
In massive data / large data set / large database / data warehouse 、、、
Data + context
Information + rules
Knowledge + experience
宏惦涸溺始鹤****宗燎批某编藉圭逸蹈侣卢谣帝继狗嗽疟血题孰鲸屯略昏英数据挖掘基本原理数据挖掘基本原理
为什么会出现数据挖掘？
数据爆炸性增长是数据挖掘技术应运而生的根本原因。
只见树木，不见森林（Drowning in data but starving for information）
计算复杂度
数据管理问题
数据类型的多样性
处理大容量数据是
数据挖掘技术区别
于其他数据分析方
法的唯一标志吗？
盯凳梭吓圾圣蛛株阀澡帐寝啄灸秦加堑翅扩名季厘到贷泥径耀蹭劳两娜厢数据挖掘基本原理数据挖掘基本原理
其他数据分析方法：商业智能
EFCodd的数据分析模型
绝对模型（Categorical Model）：依据预定义路径寻找原因，如查询
解释模型（Exegetical Model）：依据多层次路径寻找原因，如多维分析
思考模型（Contemplative Model）：参数化路径，如场景分析
公式模型（Formulaic Model）：模型化路径，如数据挖掘
Reporting
Ad Hoc Queries
Predictive Modeling
What happened ?
Why did it happen ?
What will happen ?
ROI
应用复杂性
Stage 3
Stage 2
Stage 1
Human Discovery
Machine-assisted Discovery
现象 ＝ 模型 ＋ 误差
数据挖掘寻找的是模型 !
全洛碳京蛆萝膀拟呵吟供送得胡杀卖逆搐雅旱脊肾适嗽昼暴朋卵窿抢鼻寥数据挖掘基本原理数据挖掘基本原理
其他数据分析方法：统计学
从处理数据的角度看、、、
数据规模不同
数据来源不同：观测数据（Secondary Analysis） VS 试验数据（Primary Analysis）
数据类型不同（结构化数据、半结构化数据、非结构化数据）
从分析思想的角度看
更关注实证性分析（Empirical Analysis）而非探索性分析（Exploratory Analysis）
更关注模型（Model）而非算法（Algorithm）
但二者具有相当密切的联系
从数据分析的角度，统计学现在是且仍将是数据挖掘最重要的技术支撑和思想源泉
更加深入的渗透和交叉（如探索性数据分析，EDA）
数据挖掘是数据驱
动的探索性分析 !
劫旅畸汇唇念棕刻眩用斥调易挽爪瀑睛趣丘伞痢址风植女绅逮奋掠拟瓜苔数据挖掘基本原理数据挖掘基本原理
数据