大数据重构数据中心.doc

大数据重构数据中心
李奕 大数据来袭!数据何处安放?数据宝藏如何挖掘?基础架构变向何方?从基础设施到上层应用,大数据的影响广泛而深刻。2012第五届中国数据中心大会以“大数据时代的数据中心变革”为主题,全面解构大数据时代的IT变代,企业看数据的整个角度和思维脉络要发生根本的变化,如何更好地实现数据的可视化是一个挑战。
大数据带来的第二个挑战是,传统的数据库和数据仓库在应对大数据这个议题时会面临性价比的问题。大量非结构化数据带来的是数据量爆发式的增长,对存储容量、传输速率、计算速度等要求更高,因此企业必须考虑更具性价比的计算和存储方式。
Paul Haverfield认为,企业应对数据爆炸式增长的策略应该是将数据变成能够让企业获得竞争优势的有用资产,就是通常所说的数据商品化。企业应对数据资料进行挖掘,为决策和业务提供预测性支持。具体而言,企业面临两方面的问题:第一,是否要将所有的数据都保存起来,为什么要保存所有的数据;第二,应该将数据保存在什么样的存储介质上,哪种技术是存储数据最好的平台。
做大数据管家
Gartner将大数据列为2012年CIO最关注的技术方向,IDC也认为大数据是企业能力储备最重要的一个方面。CIO和IT管理者如何帮助企业在数据快速增长的现实中定位自身的发展道路?
面对数据量的增长,传统架构虽然能够实现扩充,但局限性在于没有办法实现水平式的横向扩展。传统的IT架构和数据处理方式无法有效地应对大数据环境,数据的存储、计算、管理、分析等几个节点都需要适应大数据的解决方案。企业数据中心应该如何设计?从基础设施的层面上看,需要一个平衡式的架构,既要有高容量,同时也要满足性能上的扩展。基础设施必须有能力应对各种不同的数据量。Paul Haverfield认为,未来的存储将是横向扩展的架构,总体的思路是采用一种线性增长的方式以实现平衡的存储和计算能力。
从数据管理的层面看,在创造数据的同时,企业用户一定要及时考虑应该删除什么样的数据。因此在企业内部,应用管理者和业务管理者需要对数据归档和删除形成一致的观点,采用一致性的策略,避免IT的敏捷性受到影响。数据删除策略中核心的问题在于企业必须理解自己访问老旧数据的需求。
核心是分析能力
在IT基础架构和数据管理策略适应大数据需求的基础上,如何挖掘数据背后的价值是更为重要的议题。
Hadoop提供了一个框架,企业可以利用这个平台对大量非结构化数据进行预处理。这个过程实际上是对资料某种程度上的结构化过程。经过预处理,数据资料就更容易和现有的数据仓库结合。数据表层的处理和结构化过程仅仅是其全生命周期的一个开始,这其中还包括数据的可视化、检索、共享、分析等一系列方面。Hadoop提供的是一个开放式的生态系统。然而,企业在此平台上的应用还有很长的路要走:从技术供给层面讲,企业普遍对Hadoop架构比较陌生;此外,基于Hadoop的技术顾问服务缺失,企业先期的咨询和需求分析缺乏专业化指导。
传统的数据分析定位是“描述分析”――“是什么”,现在的情况是,数据分析已经从描述分析“是什么”转向分析预测“那又会怎样”、“现在怎样”,即相关的预测分析技术与实时分析决策。现代分析系统能够帮助企业获得对未来的洞察力,在预