大数据与绿色数据中心26.ppt

大数据与绿色数据中心未来45分钟4组关键词2大数据特点(4个V)CAP理论业界三类数据库数据中心---PUE大数据在中国大数据–新一轮“信息革命”DataGrowthStatements–MckinseyGlobalInstitute200PB/季度智慧城市数据中国某一线城市2090亿2021年RFID标签销售量>/互联网用户中国2012年6月$8000亿10年个人位置信息服务创造的价值5PB/年健康档案数据中国某一线城市“数据日益成为商业的新源材料:一种与资本和劳动力并列的新经济元素.”—TheEconomist,2010“信息将成为21世纪的石油”.—Gartner,20103速度Velocity数据量Volume多样化Variety传统数据大数据GB->TBTB->PB以上数据量稳定,增长不快持续实时产生数据,年增长率超过60%主要为结构化数据半结构化,非结构化,多维数据大数据技术将被设计用于在成本可承受(economically)的条件下,通过非常快速(velocity)的采集、发现和分析,从大数据量(volumes)、多类别(variety)的数据中提取价值(value),但是传统关系型数据库存在性能、存储、成本、IO瓶颈、等等的原因,无法支撑这4个V+1个E的要求,解决方法就是分布式技术、廉价的X86平台、本地存储,点出分布式技术是大数据处理的核心大数据在中国大数据–四大区别于传统数据的特征统计和报表价值Value数据挖掘和预测性分析4CAP原理AAvailabilityCAP理论一个分布式系统不可能满足一致性、可用性和分区容错性这三个需求,最多只能同时满足两个——onsistencyPPartitionToleranceConsistency一致性所有的用户都可以看到一致的系统状态Availability可用性无论何时,哪怕出现硬件故障,数据中心故障,系统也可提供服务,哪怕是降级的服务PartitionTolerance分区容忍性哪怕在网络出现分割的情况下,各个独立的子系统都可以继续提供服务6RDBMS与Hadoop架构对比RDBMS RDBMS Connection(.,FC,InfiniBand) Storage(.,SAN,NAS, StorageCell,etc)•多个独立的关系数据库服务器,访问共享的存储资源池•优势: •采用多个关系数据库服务器,多个存储,与原有的架构相比,扩展了存储容量和计算能力;•劣势: •计算与存储分离,数据访问存在竞争和带宽瓶颈; •支持的关系数据库服务器数量有限; •只能向上扩展(scale-up),不能横向扩展(not scaleout)•work(.,GbE, 10GbE,Infiniband) .,MPPDatabases(or MapReduceonRDBMS), BigDataframework(., Hadoop,HBase)•由大量独立的服务器通过网络互连形成集群,每个服务器带存储。•优势:计算与存储融合,支持横向扩展,更好的扩展性•劣势:解决数据冲突时需要节点间协作•适用范围: •数据仓库和离线数据分析(MPP,Hadoop/HBase) •大规模在线实时应用(单行事务处理能满足的场景) (HBase)RDBMS:事物类处理行存储关系型小型机为主NoSQL海量全局数据处理Key-ValueMapReduceX86平台NewSQL:分析类处理列存储关系型X86平台大数据激发技术创新7NewSQL:严格保证一致性、遵循关系模型,完整支持SQL92标准,一定程度上牺牲可用性和分区容错性。特点:列存、主要使用场景:主要用于结构化数据的统计分析Nosql数据库:侧重分区容错性,一定程度上牺牲一致性和可用性,突破了关系模型,不一定支持SQL。特点:主要使用场景:非结构化数据的统计分析、实时查询共性:采用廉价的X86平台、本地硬盘、分布式架构大数据推动产品创新8大数据推动了数据库行业的产品创新。OldSQL阵营在基本架构不变的基础上引入内存计算和一体机技术以提升处理性能。NewSQL阵营在过去五年里形成了近十个商用的产品,去年Google发表论文介绍了F1/Spanner关系型数据库(未开源)。NoSQL阵营的技术源于互联网公司Google,Yahoo,Amazon,Facebook等。现在又出现了noSQL阵营和newSQL阵营融合的趋势,例如hadoop通过hive的扩展实现了对结构化数据的支持,greenplum等产品也通过对和hadoop的融合实现了对非结构化数据的支持。RDBMS:OracleExadataDB2-DPFSQLSe