基于Hadoop的智能调度云数据中心关键技术研究.pdf

国内图书分类号:TP39国际图书分类号::10079密级:公开基于Hadoop的智能调度云数据中心关键技术研究硕士研究生:导师:寸y?:申请学位:学科:专业:所在学院:答辩日期:授予学位单位:杨奠骄王保义工学硕士计算机科学与技术计算机系统结构控制与计算机工程学院2013年3月华北电力大学ClassifiedIndex:::Supervisor:School:DateofDefence:Degree--Conferring-—Institution:",2013NorthChinaElectricPowerUniversity华北电力大学硕士学位论文原创性声明本人郑重声明:此处所提交的硕士学位论文《基于Hadoop的智能调度云数据中心关键技术研究》,是本人在导师指导下,在华北电力大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知,论文中除已注明部分外不包含他人已发表或撰写过的研究成果。列‘本文的研究工作做出重要贡献的个人和集体,均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。蠡占作者签名:.构雩争扬同期:2护彦年多月J1日华北电力大学硕士学位论文使用授权书《基于Hadoop的智能调度云数据中心关键技术研究》系本人在华北电力大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归华北电力大学所有,本论文的研究内容不得以其它单位的名义发表。本人完全了解华北电力大学关于保存、使用学位论文的规定,同意学校保留并向有关部门送交论文的复印件和电子版本,允许论文被查阅和借阅。本人授权华北电力大学,可以采用影印、缩印或其他复制手段保存论文,可以公布论文的全部或部分内容。本学位论文属于(请在以上相应方框内打“√”):保密口,在年解密后适用本授权书不保密/作者虢杓勤嗍刃瞬多月/『日导师签名:日期:2毋/乡年弓月f1日华北电力大学硕士学位论文摘要电网调度系统是整个电力系统的中枢。我国电网互联程度的不断提高以及智能电网建设过程的逐步推进,给现有的电网调度系统带来了极大的挑战。其主要挑战就来自于现有的电力计算平台,其计算与存储能力已经无法满足电网发展的需求,考虑到电网发展的计算平台计算及存储能力不断增长的趋势,建设具有海量数据计算和存储的智能电网调度系统已迫在眉睫。首先,本文在结合我国现有电网调度体系的基础上,提出了基于云计算的智能电网调度系统新架构以及云计算数据中心的体系结构,从宏观上对整个智能电网调度体系结构进行了规划。其次,本文针对智能电网调度云数据中心的三个关键问题进行了重点研究。第一、云数据中心内部网络结构。在分析对比传统网络结构算法以及最新提出的BCube、DCell数据中心网络结构算法的前提下,提出了更具有扩展性、容错性的PCube网络结构算法;第二、Hadoop云平台的副本存储策略。针对Hadoop现有副本存放策略的不足,本文研究目前学者提出HDFS改进存储策略——CoHadoop副本存储策略,并在此基础上对其智能性加以改进,依靠FP数组挖掘算法对Locator的相关性进行定义,完善了CoHadoop算法的性能,使其更好的适合智能电网调度系统中事务数据集大而稀疏的特点;第三、Hadoop云平台的任务调度策略。本文改进了现有Hadoop平台的公平调度算法,基于模拟退火策略对任务选取进行优化以适合智能电网调度系统任务多、优先级区分明显等特点。最后,为验证相关算法的有效性,随着研究过程的进行,本文分别对网络结构算法进行模拟实验,验证了其扩展性、容错性等关键特性;之后为验证Hadoop副本存储策略和任务调度算法的性能,本文借助一个已有云计算平台搭建了Hadoop集群,对相关实验环境进行了模拟并运行了相关算法实例,验证了算法的有效性。关键词:智能电网调度;云计算;Hadoop;BCube;"豇dinterconnection,aswellassmartgridconstructionprocessstepbystep,