大规模并行处理数据库等-中国索引学会.ppt

大数据时代索引与数据库SE中国科学评价研究中心1引言“大数据”(BigData)已经在全球引起了广泛关注,正在引领了又一轮数据技术的革命。美国EMC公司于2011年5月在美国拉斯维加斯举办第11届EMCWorld大会,大会的核心是帮助企业利用IT变革的重要趋势。此次大会以“云计算相遇大数据(CloudMeetsBigData)”为主题,着重展现当今两个最重要的技术趋势,正式提出了“大数据”概念。RCCSE中国科学评价研究中心根据IDC《数字世界》研究项目在2012年的统计,2010年全球数字资源的规模首次突破了ZB(1ZB=1万亿GB)级别,;而2005年只有130Eb,五年增长了10倍。如果保持这种爆炸式的增长速度,到了2020年,我们的数字资源规模将超过40ZB,相当于世界上每个人拥有超过5200GB的数据。无疑,我们已进入了大数据时代。RCCSE中国科学评价研究中心单位:ZB1引言在2011年12月,我国工信部发布了物联网“十二五”规划,提出了4项关键技术创新工程。信息处理技术的内容包括海量数据存储、数据挖掘、图像视频智能分析等,都是大数据技术的重要组成部分;另外3项关键技术创新工程,包括信息感知技术、信息传输技术、信息安全技术,这些也都与“大数据”密切相关。我国也对大数据技术给予了足够的重视。RCCSE中国科学评价研究中心1引言1引言基于以上概述,我们认为,大数据时代已经到来,已经对我们的社会产生了重大影响。本文将尝试对大数据时代我国的索引和数据库事业的发展与创新进行研究和展望。。麦肯锡认为,“大数据所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。”RCCSE中国科学评价研究中心2大数据时代IBM公司认为,可以用3个特征相结合来定义大数据:数量(Volume)、种类(Variety)和速度(Velocity),即庞大容量、极快速度和种类丰富的数据。IDC公司认为,“大数据不是一个事物,而是一个跨多个信息技术领域的现象。大数据技术描述了新一代的技术和架构,通过使用高速(Velocity)的采集、发现或分析方法,从超大容量(Volume)的多样(Variety)数据中经济地提取价值(Value)。”RCCSE中国科学评价研究中心综合以上几种不同的见解,我们认为,具备以下特征的就是大数据。(1)数量大(Volume)。大数据所包含的数据量很大,而且在急剧增长之中。但是,在可供使用的数据数量不断增长的同时,可处理、理解和分析的数据比例却在不断下降。RCCSE中国科学评价研究中心2大数据时代2大数据时代(2)种类多(Variety)。随着技术的发展,数据源不断增多,数据的类型也不断增加。不仅包含传统的关系型数据,还包含来自网页、互联网、搜索引擎、论坛、电子邮件、传感器数据等原始的、半结构化和非结构化数据。(3)速度快(Velocity)。除了收集数据的数量和种类发生变化,需要处理和生成数据的速度也在变化。数据流动的速度在加快,要有效的处理大数据,需要在数据变化的过程中实时的对其进行分析,而不是滞后的进行处理。RCCSE中国科学评价研究中心