大数据-数据挖掘.pptx

大数据 vs 数据挖掘
大数据是什么
大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据与云计算的关系就像一枚硬币的正反面一样密不可分。
HACE定理:大数据是巨大,无中心循环自生的,关系复杂且变化的。
1998:
Big Data and the Next Wave of …
2005:
Web
2006:
Google Analytic
2012:
Facebook IPO
大数据的纬度
数据
技术
创意
数据挖掘是什么
数据挖掘(英语:Data mining),又译为资料探勘、数据采矿。它是数据库知识发现(KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学****专家系统和模式识别等诸多方法来实现上述目标。
各种来源数据
数据库或者数据仓库
数据挖掘引擎
模式评估
用户界面
知识库
数据挖掘能挖掘什么
概念性描述:用户画像;
频繁模式,关联:推荐系统;
分类;
聚类:寻找新的分类;
离群点分析:
演变分析,时间序列:预测未来。
易于理解,有效,有用,新的。
数据库技术
统计学
信息科学
可视化
机器学****br/>数据挖掘
DMQL:
与任务相关的数据;
要挖掘的知识类型;
用于挖掘过程的背景知识;
评估模式的兴趣度度量和阈值;
可视化发现模式的期望表示
CRISP-DM
大数据和数据挖掘区别
趋势分析
Data mining
Web
Big data
Mobile
图表来自Google Trends,虚线为预测部分
整体 vs 个体
关注个体间的关系,集体表现特性。
关注关联关系,注重实际应用,不追究因果关系。
个体间通常有很多的联系,交互。
关注个体的细节,数据由什么构成。关注因果关系,注重理论知识。
根据实验理论,个体间彼此是分离的。
多样 vs 抽样
关注一切可能获取的数据,考虑数据全部。
数据可以多次被使用,陈旧数据不会删除。
非结构化,无层次。
采用分布式部署。
数据一般人工收集而来,按照一定的规则进行抽样。
陈旧数据一般不使用,为节约空间一般会以别的形式存放。
数据是规范的,有层次。
一般是单机。
简单算法 vs 专家参与
对先验知识的依赖性低,基本不需要人工参与。
对大量数据实施简单算法。
能自动调整适应。
严重依赖于先验知识和数据挖掘者的经验。
算法复杂:概率算法,神经网络等。
会出现滚雪球的灾难。