IP网络流量数据采集与存储系统的设计与实现.pdf

武汉理工大学
硕士学位论文
IP网络流量数据采集与存储系统的设计与实现
姓名:易泽湘
申请学位级别:硕士
专业:计算机应用技术
指导教师:潘昊
20070401
摘要近年来,随着以疘:诵男榈幕チ目焖俜⒄梗琁际踝魑一种承载业务和沟通传输的中间体得到了极大的发展。基于瑶的业务应用发展迅速,网络的规模日趋庞大。网络的可用性与网络规模膨胀的矛盾显得更加突出。结构越来越复杂和规模越来越庞大的网络系统更需要网络管理软件来保证系统的正常运作,网络管理的质量会直接影响到网络的运行质量,管理好一个网络与网络的建设同等重要。网络管理软件通过对网络数据的分析达到对网络资源、性能、故障的管理,而网络数据的获取是网络管理软件中最为重要的部分,本文详细阐述了球网络流量数据采集与存储系统的设计与实现。文章首先介绍了网络管理的一些基础知识,包括网络管理的基本概念、网络管理的五大功能以及网络管理的体系结构。其次,文章分析了网管数据采集系统所使用的主要协议,包括、接着,文章介绍了口网络海量数据的存储方法,并比较了几种存储方案的优劣。文章最后结合项目实践详细描述了口网络数据采集与存储系统的设计与实现。鉴于被管网元的多样性和管理类别的不同,我们在数据采集层上采取了不同的协议采集不同的网管数据,把数据采集分为主动数据采集和被动数据采集。、里面自动实现数据的采集、告警和入库操作;而、粲谥鞫集,必须让采集服务器使用轮询操作来及时取得网管数据。为了避免海量数据存取导致的平凡疧操作,在数据存储上我们采取了嵌入式数据库,并将原始数据和处理了的业务数据进行分库存储;另外为了提高系统的整体效率,我们对系统进行分层处理,每一层对应着不同的进程,数据采集层为们则使用规范技术实现。为了提高数据接收和处理效率,我们用镅员嘈戳耸莶杉愫鸵滴处理层,而前台展示层我们则用跨平台性良好的技术实现。关键字:瑂,,网络管理以及等。属于被动采集的范畴,在毯蚢獭⒁滴翊聿阄猣进程,而前台展示层我。,
鴏甌疭琺,,.,,琩,琒,挖..,.、
琑琋,.甀,,
缩略词Ⅵ:孔武汉理工大学硕士学位论文:;~ⅡⅡ冒;订:口:
日期掣研究生签名:盔口秘师签名::李墨独创性声明关于论文使用授权的说明C艿穆畚脑诮饷芎笥ψ袷卮斯娑本人声明,所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人完全了解武汉理工大学有关保留、使用学位论文的规定,即:学校有权保留送交论文的复印件,允许论文被查阅和借阅;学校可以公布论文的全部内容,可以采用影印、缩印或其他复制手段保存论文。研究生签名:
第乱背景介绍在网络管理的初期,对网络的管理停留在使用肝和的基础上,但是随着网络内主机数据的不断增多,这种简单的工具已经不可能完成网络管理的工作了。网络管理系统是网络的重要组成部分,是保证网络系统高效、可靠、经济和安全运行的重要支撑手段。很多网络特性的使用和提供,在很大程度上取决于相应的网络管理系统的能力和质量。由于通信技术的高速发展,网络规模不断扩大,网络复杂性的日益提高,对网络管理系统的要求越来越高,对网络管理技术的要求也越来越高。很多大计算机与网络通信厂商陆续推出了各自的网络管理系统,如的、腘、的癝的鹊取K们都已在各种实际环境下得到了一定的应用,并已经有了相当的影响。但在国内,网络管理是近几年才出现的。当前市场中的网管产品几乎为国外产品所垄断,这些网管产品可分为通用型鏞琋等和专用型鏑。通用型网管系统的缺点是:费用较高,而且都需要二次开发;专用型网管系统的缺点是:过于专一,只限于某厂家或某型号的产品,不适合于目前的多厂家异构环境。最主要的是这两种产品类型都不能很好的适应国内网络的现状及管理需求,这对我国网络的建设与发展十分不利,因此,研制适合我国自己情况的网络管理系统势在必行。数据网不同于分组交换、⒅≈屑獭等基础网络,它是一个开放的系统,因此,数据网的管理有其特殊的复杂性。从技术角度出发,网管系统就是要具备足够的监控手段,对网络事件做出快速反应,提供故障隔离措施,并依赖有效的操作控制手段,尽快解决故障,保证网络的正常运行,实现集中操作和维护管理。网管系统要求对数据网上的故障、性能、配嚣、环境等信息进行全面掌握,对网络整体和局部的流量、流向,网元设备的负荷情况等,提供实时统计的数据,以此作为网络优化和网络扩、的武汉理工大学硕士学位论文
课题来源本文所做的工作论文结构容的参考。网管系统要求故障和告警处理实现自动化,并逐步建立和完善故障处理的知识库,同