面向海量数据处理的层次式流处理研究与实现.pdf

国防科学技术大学
硕士学位论文
面向海量数据处理的层次式流处理的研究与实现
姓名:占求朋
申请学位级别:硕士
专业:计算机科学与技术
指导教师:贾焰;杨树强
20090301
摘要随着信息技术的飞速发展,数据流这种新型数据形式在很多领域得到广泛使用。在一些实际问题中所遇到的数据流的规模也越来越大,在现有软硬件条件下,已有的数据流管理系统已经难以满足海量数据流的处理要求。因此,对已有的流管理系统进行研究和改进,使之在功能和性能上有所突破,更好的应对海量数据流处理的要求,成为当今一项紧迫的课题。本文基于现有的低常笔淙胧莸墓婺3鱿低车腃处理能力时,搭建层次式流处理系统,让多个低惩贝硎淙氲氖荩来实现对海量数据流的有效处理。诜治龊妥酆狭耸萘鞯难芯肯肿春蚑系统的原理、结构的基础上,阐述了海量数据流处理所面临的烤蔽侍猓岢隽艘劳低炒罱ú愦问搅鞔硐低车姆椒ā晗阜治隽瞬愦问搅鞔硐低车幕驹怼⒐δ芎推渖杓圃蛴肷杓扑想,并详细说明了层次式系统的工作流程。芯苛讼低乘婕暗闹饕K惴ǎ治隽烁髦炙惴ǖ挠湃钡恪得髁瞬愦问较低持懈鞲龉δ苣?榈南晗干杓朴胧迪郑治隽四?橹湫同工作的原理和过程,并给出了系统在海量数据流处理过程中的详细执行韵低辰辛斯δ懿馐裕⒍圆馐越峁隽思蛞K得鳌论文的研究表明,在现有条件下,采用基于牟愦问搅鞔硐统能够实现对海量数据流的有效处理,并返回用户所期望的查询结果,从而在一定程度上缓解了海量数据流处理所面临的烤蔽侍狻主题词:海量数据流处理,烤保琓,层次式系统结构论文的主要内容有:步骤。国防科学技术大学研究生院工学硕士学位论文第
,甅琣,..甋琓,第页,.,甋瑂瑆瓵琭琣琣瑆.
表目录表数据分发问题中几种经典的调度算法比较⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表用户提交的查询操作映射转换表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表和的详细对比⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表数据流基本算法及功能描述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表现有海量流数据处理的技术特点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.表层次式流处理系统的设计原则⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..表系统功能测试环境配置⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.表测试用的模拟数据规格表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯表系统功能测试结果表⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..表系统性能测试结果记录⋯⋯⋯⋯⋯⋯⋯...⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯国防科学技术大学研究生院工学硕士学位论文第页
图目录查询操作过程示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..图数据流管理系统原型图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯逑到峁雇肌图海量流数据处理层次式结构模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图层次式流处理系统工作流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图层次式流处理系统中时间片轮转算法示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图数据流还原算法示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图层次式流处理系统各功能模块示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.模块结构及工作流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯模块结构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯与工作关系图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯篗模块结构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..模块结构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..图层次式流处理系统中低车氖涑鍪疽馔肌图阌氩阒銽系统连接的示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯系统整体结构的类图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图系统基本工作流程的顺序图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图数据流查询系统结构框图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图系统结构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..国防科学技术大学研究生院工学硕士学位论文第
学位敝作者擀:盟塑疔鋑月石日日期:冲年路作者指导教师签名:亟噬卤学位论文作者签名:苣芏丝独创性声明学位论文版权使用授权书日期:年∥月∥,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表和撰写过的研究成果,:本人完全了解国防科学技术大学有关保留、,允许论文被查阅和借阅;可以将学位论文的全部或部分内容编入有关数