大数据与绿色数据中心.pptx

大数据与绿色数据中心
未来45分钟4组关键词
2
大数据特点(4个V )
CAP理论
业界三类数据库
数据中心---PUE
大数据在中国大数据–新一轮“信息革命”
Data Growth Statements – Mckinsey Global Institute
200PB/季度
智慧城市数据
中国某一线城市
2090亿
2021年RFID标签销售量2011年是1200万
in 2011
2天的数据量
> 文明起始到2003年

移动/互联网用户
中国 2012年6月
$8000亿
10年个人位置信息服务创造的价值
5PB/年
健康档案数据
中国某一线城市
“数据日益成为商业的新源材料: 一种与资本和劳动力并列的新经济元素.”
— The Economist, 2010
“信息将成为21世纪的石油”. — Gartner, 2010
3
速度
Velocity
数据量
Volume
多样化
Variety
传统数据
大数据
GB -> TB
TB -> PB以上
数据量稳定,增长不快
持续实时产生数据,
年增长率超过60%
主要为结构化数据
半结构化,非结构化,
多维数据
大数据技术将被设计用于在成本可承受(economically)的条件下,通过非常快速(velocity)的采集、发现和分析,
从大数据量(volumes)、多类别(variety)的数据中提取价值(value),但是传统关系型数据库存在性能、存储、成本、IO瓶颈、等等的原因,无法支撑这4个V+1个E的要求,解决方法就是分布式技术、廉价的X86平台、本地存储,点出分布式技术是大数据处理的核心
大数据在中国大数据–四大区别于传统数据的特征
统计和报表
价值
Value
数据挖掘和预测性分析
4
CAP原理
A
Availability
CAP
理论
一个分布式系统不可能满足一致性、可用性和分区容错性这三个需求,最多只能同时满足两个
——Eric Brewer
C
Consistency
P
Partition
Tolerance
Consistency 一致性
所有的用户都可以看到一致的系统状态
Availability 可用性
无论何时,哪怕出现硬件故障,数据中心故障,系统也可提供服务,哪怕是降级的服务
Partition Tolerance 分区容忍性
哪怕在网络出现分割的情况下,各个独立的子系统都可以继续提供服务
6
RDBMS与Hadoop架构对比
RDBMS
RDBMS
Connection (., FC, InfiniBand)
Storage (., SAN, NAS,
Storage Cell, etc)
•多个独立的关系数据库服务器,访问共享的存储资源池
•优势:
•采用多个关系数据库服务器,多个存储,与原有的架构相比,扩展了存储容量和计算能力;
•劣势:
•计算与存储分离,数据访问存在竞争和带宽瓶颈;
•支持的关系数据库服务器数量有限;
•只能向上扩展(scale-up), 不能横向扩展(not
scale out)
•适合复杂的需要事务处理的应用
NewSQL 与 NoSQL
Network (., GbE,
10GbE, Infiniband)
., MPP Databases (or
MapReduce on RDBMS),
Big Data framework (.,
Hadoop, HBase)
•由大量独立的服务器通过网络互连形成集群,每个服
务器带存储。
•优势:计算与存储融合,支持横向扩展,更好的扩展
性
•劣势:解决数据冲突时需要节点间协作
•适用范围:
•数据仓库和离线数据分析(MPP, Hadoop/HBase)
•大规模在线实时应用(单行事务处理能满足的场景)
(HBase)
RDBMS:事物类处理
行存储
关系型
小型机为主
NoSQL
海量全局数据处理
Key-Value
MapReduce
X86平台
NewSQL:
分析类处理
列存储
关系型
X86平台
大数据激发技术创新
7
NewSQL:严格保证一致性、遵循关系模型,完整支持SQL92标准,一定程度上牺牲可用性和分区容错性。
特点:列存、
主要使用场景:主要用于结构化数据的统计分析
Nosql数据库:侧重分区容错性,一定程度上牺牲一致性和可用性,突破了关系模型,不一定支持SQL。
特点:主要使用场景:非结构化数据的统计分析、实时查询
共性:采用廉价的X86平台、本地硬盘、分布式架构
大数据推动产品创新
8
大数据推动了数据库行业