基于大数据分析的分布式MOLAP技术研究.doc

基于大数据分析的分布式MOLAP技术研究


该论文来源于网络，本站转载的论文均是优质论文，供学****和研究使用，文中立场与本网站无关，版权和著作权归原作者所有，如有不愿意被转载的情况，请通知我们删除已转载的信息，如果需要分享，请保留本段说明。
　　摘 要：在计算机系统运行以及研究环节中，会存在大量的规模效应，此类状况难以避免，要想有效解决此类问题，就需要利用分布式的处理方式，开展对文件系统的分析。文章对分布式多维联机分析过程（MOLAP）的数据模型进行了分析，从维编码的算法、映射归约（MapReduce）算法的实现、分析维的遍历算法等方面作深入探讨。
　　关键词：分布式处理;多维联机分析过程;维编码算法
　　多维联机分析过程（Multidimension Online Analytical Processing，MOLAP）技术通常是指以MapReduce程序为基础，一般用于加强对计算机系统的处置和管理。在信息数据的多个层次和维度运行中，一般会借助遍历算法以及维编码的直接操作等流程，实现高质量运转。在目前的发展环节，为提高总体的信息技术处置状况质量，需要加强对MOLAP技术的使用。
　　1 数据模型
　　MOLAP具体的运行内容分为维和实际状况两个方面。在运行环节，核心部分是探寻在维和事实中所存在的映射联系性。通常情况下，在管理过程中，使用较为传统的ROLAP技术能将数据库和星形模型相连，在发散自身维度信息的过程中，还会实现事实信息的有效存储。采用外键存在联系之内的映射关系反应会增加整体运行效率和成果。但是在实际操作和运行的阶段中，工作人员还需要联合实际性的操作状况，促使操作流程和相对应的运行效率不断提升。首先，在一种多维度的数据运转模型处理过程中，将大量的数据开展分类处理时，维就会将多种偶数据放置在一个含有多种层叠联系的数据构造中，并提供大量和数据之间的运行和筛选方式，核算具体的组织方法。在针对此环节的分析和研究过程中，通常需要事先将维具体内涵开展简化处理工作，实现对多维度数据模型的研究和简化，具体的简化处理工作会受到以下环节制约。例如，设定A为维，则相对应的A含有维层次，但是具体维层次的具体数量会为1，A本质上是一种由多个N维级所构成的一种集合体方式，设定（i∈[1，n]）是一种随意的维级别，存在一种维度的属性，含带具体的数值。可以将A视为和其余级别位属性数据相单独构成的一种结构，在具体的同一类型的节点会存在不同子节点数。其次，在度量的设计中，将度量K设定为一种单独的度量，遵循参考维度值方式将其视为在MOLAP环节中所研究的对象，在此环节中，往往会需要将较为细粒程度的度量作为在维度中存在的较小维度值。再次，在单元格的设定过程中，工作人员能够在总体逻辑视图环节中开展详细的分析和研究，单元格本质上是通过不同种类的度量得以展现的，此类度量能够以一种相同的维值作为后期研究对象，所以单元格经常会被视为度量的有效结合体。最后，在数据立方的定义中，会遵循上述的过程，数据立方往往是MOLAP内部所存在的一种多维度构造，是通过多种单元格搭建形成的。块的定义通常是立方数据的思维分析图，其内部每一个数据立方均可以依照维构建不同的数值[1]。
　　2 维编码的算法
　　维编码往往会涉及两类形式，分别为二进制编码算法以及十进制的编码算法。二进制的编码算法是采用对多个编码的构造从而展现对多类维信息的概述，利用位移的方式展现对维的遍阅。但是在一般情况下，在此二进制的编码系统内部中会存在个别漏洞，有少部分的设置还不完善。十进制的编码运算较为清晰，有利于工作人员针对个级维的数据进行调整，保障后期的编码运算工作，但是此步骤需要利用编码以及维值内部含带的映射状况作调整。为防止在运行的环节中存在弊端，影响到后期的工作，就应当采用MOLAP技术利用十进制编码算法，从而设定1和维A内存在的个维级别。
　　在实际的使用环节中，大量的数值均是采用维的数值形式得以展现，比如，在高度以及价格方面，此类数据的模式维会根據所述值域的不同种类开展具体划分形式，多种划分模式内部含有的步长会存在大量维级别。因此，数值的维符合现实约束状况，但是还会存在少量的费数值，涉及多个部门以及城市和相对应的日期等环节。根据实际运行能够得到空值和需要填补的维值数，在同一种关键节点中涵盖相同数量的子节点。工作人员可以根据确切参考日期获得相对应的数据编码结果。在通常情况下，以月级别为前提的每个月天数均会存在差异性，但是在此环节中，要想实现对此种技术的应用和运行，需要加强对此环节的定义，并将具体的设定为每月均为31天的等量。因此，工作人员就会在二月份增加