云计算与大数据的相关技术(微软雅黑)PPT课件.ppt

云计算与大数据技术人民邮电出版社王鹏黄焱安俊秀张逸琴编著目录CONTENTS第1章云计算与大数据基础第2章云计算与大数据的相关技术第3章虚拟化技术第4章集群系统基础第5章 MPI—面向计算第6章 Hadoop—分布式大数据系统第7章—面向数据的高性能计算集群系统第8章 Storm—基于拓扑的流数据实时计算系统第9章服务器与数据中心第10章云计算大数据仿真技术第2章云计算与大数据的相关技术《云计算与大数据技术》 云计算与大数据 云计算与物联网 云计算与大数据云计算与大数据相比云计算更像是对一种新的技术模式的描述而不是对某一项技术的描述,而大数据则较为确切地与一些具体的技术相关联。目前新出现的一些技术如Hadoop、、Storm都较为确切地与大数据相关,同时并行计算技术、分布式存储技术、数据挖掘技术这些传统的计算机学科在大数据条件下又再次萌发出生机,并在大数据时代找到了新的研究内容。面向数据要求计算是面向数据的,那么数据的存储方式将会深刻地影响计算实现的方式。在分布式系统中实现计算和数据有效融合从而提高数据处理能力,简化分布式程序设计难度,降低系统网络通信压力从而使系统能有效地面对大数据处理的机制称为计算和数据的协作机制。在这种协作机制中计算如何找到数据并启动分布式处理任务的问题是需要重点研究的课题,这一问题被称为计算和数据的位置一致性问题。 云计算与大数据面向数据也可以更准确地称为“面向数据的计算”,面向数据要求系统的设计和架构是围绕数据为核心展开的,面向数据也是云计算系统的一个基本特征,而计算与数据的有效协作是面向数据的核心要求。回顾计算机技术的发展历程,可以清晰地看到计算机技术从面向计算逐步转变到面向数据的过程。从面向计算到面向数据是技术发展的必然趋势,并不能把云计算的出现归功于任何的个人和企业。,该图从硬件、网络和云计算的演进过程等方面以时间为顺序进行了纵向和横向的对比。 云计算与大数据在计算机技术的早期由于硬件设备体积庞大,价格昂贵,这一阶段数据的产生还是“个别”人的工作。这个时期的数据生产者主要是科学家或军事部门,他们更关注计算机的计算能力,计算能力的高低决定了研究能力和一个国家军事能力的高低。 的出现改变了整个计算机技术的发展历史,网络逐步成为推动技术发展的一个重要力量,1989年TimBerners-Lee发明的万维网改变了信息的交流方式,特别是高速移动通信网络技术的发展和成熟使现在数据的生产成为全球人的共同活动,人们生产数据不再是在固定时间和固定地点进行,而是随时随地都在产生数据。微博、博客、社交网、视频共享网站、即时通信等媒介随时都在生产着数据并被融入全球网络中。相对而言由于这时数据量很小,数据在整个计算系统中的重要性并不突出。这时网络还没有出现,推动计算技术发展的主要动力是硬件的发展,这个时期是硬件的高速变革时期,硬件从电子管迅速发展到大规模集成电路。arthy提出云计算的概念到大数据之父Gray等人提出科学研究的第四范式,时间已经跨越了半个世纪。以硬件为核心的时代也是面向计算的时代,那时数据的构成非常简单,数据之间基本没有关联性,物理学家只处理物理实验数据,生物学家只处理生物学数据,计算和数据之间的对应关系是非常简单和直接,这个时期研究计算和存储的协作机制并没有太大的实用价值。到了以网络为核心的时代数据的构成变得非常复杂,数据来源多样化,不同数据之间存在大量的隐含关联性,这时计算所面对的数据变得非常复杂,如社会感知、微关系等应用将数据和复杂的人类社会运行相关联,由于人人都是数据的生产者,人们之间的社会关系和结构就被隐含到了所产生的数据之中。数据的产生目前呈现出了:大众化、自动化、连续化、复杂化的趋势。云计算、大数据概念正是在这样的一个背景下出现的。这一时期的典型特征就是计算必须面向数据,数据是架构整个系统的核心要素,这就使计算和存储的协作机制研究成为需要重点关注的核心技术,计算能有效找到自己需要处理的数据,可以使系统能更高效地完成海量数据的处理和分析。云计算和大数据这两个名词也可看作是描述了面向计算时代信息技术的两个方面,云计算侧重于描述资源和应用的网络化交付方法,大数据侧重于描述面向数据时代由于数据量巨大所带来的技术挑战。信息技术领域提出的面向数据的概念同时也开始深刻地改变了