OLAP系统中Cube并行与分布式处理技术的研究硕士论文.pdf

扬州大学
硕士学位论文
OLAP系统中Cube并行与分布式处理技术的研究
姓名:顾颀
申请学位级别:硕士
专业:计算机应用技术
指导教师:陈崚;胡孔法
20070501
摘要构—,且幌羁啥允莶挚庵械氖萁锌焖俜梦,闹饕6象。决策分析者可以在中享受高效率的数据访问,快速获取有用的决策信随着数据仓库中数据规模的不断增大,的维度和维度的层次结构日益复本文针对高维数据所引起的“维灾”,提出了一种并行环境下的高效存储结琀ü侄位植呗越ǜ呶次数据根据节点的个数划分成若干个低维层次数据,利用并行处理技术创建各个特点,采用基于维层次编码生成各个维的维层次编码表来代替维表中原关键字,在实现维关键字压缩的同时荽娲⒂隣檠治鱿低常訦进行并行创建与增量更新维护,并给出了的并行查询处理及优化算法。理论分析和实验证明,相对于以往的完整物化和部分物化等传统方法,我们提出的并行环境下的性出了海量痕迹数据的存储结构——数据立方体的技术,它是联机分析处理息。在本文中,我们提出了在并行环境下建立基于高维数据的数据存储和查询分析系统,以及在网络环境下建立基于海量痕迹数据的数据存储和查询分析系统,并给出了该方面工作的进一步研究思路。杂,在单处理机上物化整个,无论在计算时间还是存储空间上的代价都十分昂贵。尽管采用了许多改进的算法及,压缩技术,也不能从根本上解决高维数据的存储问题,并行技术为我们解决这一问题提供了新思路。节点上的背浞掷梦粜跃哂胁愦涡缘,的索引技术,加快了中的数据检索速度。然后结合并行处理技术,建立了并行环境下的能有显著的提高,具有很高的效率和加速比。除了在传统领域,如金融、保险、电信等行业中的特定应用之外,在物流行业的发展也很广阔。我们结合危险品运输过程中产生的海量痕迹数据,提适用于实际应用中普遍存在的海量痕迹数据,它在根据痕迹数据特性大幅度压缩数据的同时,通过层次前缀痕迹和层次前缀标,
同时,能从庞杂的数据中进行信息提炼,分析现在的、有用的关系和模式,为复由于痕迹数据往往是海量的、地理分布的,同时查询复杂化和显示多样化的需求不断地增加,原有的集中式管理已经越来越表现出其局限性。为此我们提出品的有效监控和风险预测。并行计算分布式处理识髓诖娲⒔峁怪屑锹际莸暮奂#镏没г诟傥O掌返杂数据的分析和高层决策提供更有效的支持。了建立网络环境下的数据存储与查询分析系统,它由若干个本地站点的局部/系统,槌伞@砺鄯治龊实验证明,我们提出的在对数据进行高度压缩的同时,可以支持对危险关键词:/
..琲,;琲瑆瑃瓵誸甀.,疭’,﹕【甀.
/...痶.。瓸篊
第一章引言研究背景本论文主要讨论了什么是,什么是,有哪些方法对进行预计在信息时代来临、互联网高速发展的今天,信息资源的经济价值和社会价值越随着这些大规模数据库的日益增多,无论是政府部门还是企业都积累了海量的业务处理和市场变化数据。特别是际醯姆⒄梗餍幸档男畔⒘砍手甘爆炸性增长趋势,一些应用中数据量已经从几十个发展到。人们如何对这些数据进行有效地分析和挖掘,来将这些数据转换成有用的信息和知识,发现企业珼土;治龃,际跎居υ硕“数据仓库之父”#弧笆莶挚馐且桓雒嫦蛑魈种处理并转换成有用信息的处理过程,它主要用来帮助有关主管部门作出更符合业算,针对传统或现有的预计算方法的有限性,我们将讨论如何拓展并行与分布式处理技术的优势,将其运用到计算中。在本章中,我们将介绍数据仓库的发展,的特点及计算的发展,基于这些背景知识的介绍,我们提出本文的主要工作,即建立基于高维层次数据的并行数据存储和查询分析系统,以及在网络环境下建立基于海量痕迹数据的分布数据存储和查询分析系统。本章的最后列出了文章的组织结构。来越明显。早在上个世纪年代,人们为了收集、存储和处理大量业务数据而开发了数据库管理系统。由于数据库技术的迅猛发展,特别是关系数据库技术的成功应用,数据处理技术迅速成为计算机技术三大应用荽怼⒖蒲Ъ算和过程控制闹饕7矫妫餍懈饕狄呀⒘撕芏嗖煌氖菘庀低场潜在的规律谡庵智榭鱿拢莶挚的、集成的、非易失的且随时间变化的数据集合,用以支持经营管理中的决策选定过程”。由此可见,数据仓库是一个综合的解决方案,是对原始的操作数据进行各务发展规律的决策。传统数据库面向事务处理,而数据仓库面向复杂数据分析和高系统中并行与分布式处理技术的研究
系数据库和联机事务处理的发展。年他提出了联机分析处理端用户对数据库查询分析的需要,源笫菘饨械募虻ゲ檠膊荒苈阌多维性是应用的重要特点,址应用所需的基本数据操作都具有多维特征,例如,.预先计算并保存无需即时计算即可响应各类聚集查询,可大大缩短查询响应的时间,为提供快速的多维信息分析。但是在维数众多、基表较大且的时间,而且计算结果也会极其庞大从而带来巨大的存储开销唧。为