电子商务中的数据处理技术(数据仓库、数据挖掘、BI、OLAP).ppt

第八章电子商务中的数据处理技术内容提要:,需要许多IT管理系统的支持,其中数据处理技术的发展和应用是决定电子商务成功运行和有效管理的关键因素之一。数据处理技术一般分为两种类型:操作型数据处理和分析性数据处理。操作型数据处理也称为事务处理,是指对数据库联机的日常操作。而分析型数据处理是指从大量的事务型数据库中抽取数据,并将其清理、转换为新的存储格式,涉及数据仓库。本章将介绍数据仓库的概念,以及应用于电子商务中的前沿数据处理技术,包括在线分析处理、数据挖掘技术和商业智能的概念及应用。(1)数据仓库(DataWarehouse,DW)建立数据仓库的目的是解决企业遇到的“企业应用蜘蛛网”现象,并更好地支持管理决策。(2)多维数据库(Multi-DimensionalDatabase,MDD)多维数据库可以简单地理解为:将数据存放在一个n维数组中,而不是像关系数据库那样以记录的形式存放。当维数扩展到三维甚至更多维时,多维数组库将形成类似“超立方块”一样的结构,人们通过多维视图来观察数据。多维数据库增加了一个时间维,与关系数据库相比,它的优势在于可以提高数据处理速度,加快反应时间,提高查询效率。(3)数据集市(DataMarts)数据集市是一种更小、更集中的数据仓库,是为企业提供分析数据的一条廉价途径。(4)元数据(Metadata)元数据是关于数据的数据,它描述了数据仓库的数据和环境。数据通常可以分为两类:一类是管理元数据,它是对源数据及其内容、数据仓库主题、数据转换及各种操作信息的描述。另一类是用户元数据,它帮助用户查询信息、理解结果、了解数据仓库中的数据和组织。(5)外部数据源外部数据是不能在联机事务处理(OLTP)系统中找到,却是增强数据仓库欣喜质量所需的数据。,存放在数据库中的数据基本符合操作性数据特点。而为了适应数据分析处理的要求而产生的数据仓库存放的数据,基本符合分析型数据的特点,下表显示出了操作性数据和分析型数据的区别。数据仓库与普通数据库之间的区别主要表现在以下三个方面:(1)它依据决策要求,只从数据库中抽取那些需要的数据,并进行一定的处理。(2)数据仓库是多维的,即数据仓库的数据的组织方式有多层的行和列。(3)它采用分析型的数据处理而非普通的操作型的数据处理方式,支持决策处理而非常规事务处理。:(1)并行数据库技术(2)高性能的数据库服务器(3)(1)数据仓库的数据是面向主题的(2)数据仓库的数据是集成的(3)数据仓库的数据是不可更新的(4)(1)作为企业的核心业务(2)优化企业内部管理控制(3)。,是企业日常处理过程中记录的数据能够更好地用于更高层次的分析和得到更有效地利用。下表描述了产品的生产过程与数据仓库数据处理过的对比。(1)建模功能(2)数据的抽取、转换和加载功能,抽取(Extraction)、转换(Transformation)和加载(Load),简称ETL(3)数据的清洗、融合与集成功能(4)数据存储管理和查询功能(5)运行维护功能