数据仓库与数据挖掘原理及应用第1章.pptx

该【数据仓库与数据挖掘原理及应用第1章 】是由【闰土】上传分享，文档一共【69】页，该文档可以免费在线阅读，需要了解更多关于【数据仓库与数据挖掘原理及应用第1章 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。篇数据仓库与OLAP章数据仓库基本概念
1
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第1页!
章目录






2
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第2页!

传统数据库以及OLTP(On-LineTransactionProcessing联机事务处理)在日常的管理事务处理中获得了巨大的成功,但是对管理人员的决策分析要求却无法满足。因为,管理人员常常希望能够通过对组织中的大量数据进行分析,了解业务的发展趋势。而传统数据库只保留了当前的业务处理信息,缺乏决策分析所需要的大量的历史信息。为满足管理人员的决策分析需要,就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库(DataWarehose)。
3
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第3页!
(1)
在市场经济的激烈竞争中,信息对于企业的生存和发展起着至关重要的作用。企业对信息的需求是多方面的,为了避免企业中各部门或各用户间的冲突和简化用户的数据视图,一种称作“抽取程序”的方法被广泛地应用。
比如,市场部人员通常只关心企业的销售、市场策划方面的信息,而不注重企业的研发、生产等其他环节。因此,将销售、市场策划方面的信息抽取出来单独建立部门级的数据库很有必要,这样可以提高数据的访问效率。
4
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第4页!
网上的任意两个节点的数据可能归根结底是从一个原始库中抽取出来的,但其数据没有统一的时间基准,因而错综复杂的抽取与访问将产生很多问题,主要有以下几个方面。
(3)
5
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第5页!
其次,可能两部门抽取数据的时间不同。如市场部在星期日晚上提取分析所需的数据,而计划部在星期三下午就抽取了数据。有任何理由相信对某一天抽取的数据样本进行分析与对另一天抽取的数据样本进行的分析可能相同吗?当然不能!企业内的数据总是在变的。
再次,引用外部信息的不同。分析项目的发展趋势常常需要引入企业外部的信息,比如报刊信息、国家的政策等。市场部门引用的外部信息来源可能与计划部门不同,而外部信息自然是仁者见仁,智者见智,这也可能是导致最终分析结果不同的原因。
最后,分析程序的差异。市场部门使用的分析程序可能与计划部门不同,分析的内容和指标也可能不同。
(5)
6
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第6页!

数据分析的结果缺乏可靠性并不是蜘蛛网问题中唯一的主要问题。在一个大型企业中,不同级别的数据库可能使用不同类型的数据库系统,对于拥有巨型数据量的企业级数据库可能使用IBMDB2,而对于部门级和个人级的中小型数据库可能使用SQLServer。各种数据库的开发工具和开发环境不同,当需要在整个企业范围内查询数据时,数据处理的低效率将是不容忽视的。
如果一个大型企业的决策领导需要一份关于公司整体运营情况的报表,通常需要动用大量的人力和物力才能达到。首先,定位报表需要的数据,即确定报表涉及的内容分布在哪个数据库的哪个位置,然后调动各个部门的程序员/分析员对应用进行分析、设计和编码。
(7)
7
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第7页!

除了数据处理效率和数据可信度的问题之外,“蜘蛛网”式的结构还难以将数据转化成信息。比如,某电信公司要想分析某个大客户今年的情况和过去3年有什么不同?大客户的情况可能包括呼叫行为、话费情况、交费情况、咨询问题等。因此要想比较完整地回答这个问题,实际上需要将客户多方面的数据综合成信息。但“蜘蛛网”式的结构中数据缺乏集成性,因此,对综合信息需求的支持确实是不充分的。
另外,每个数据库由于其数据量和业务处理的需求不同,对历史数据的存储时间也不同,因此在蜘蛛网环境中的系统难以提供完整的历史数据。如,记录客户呼叫行为的数据库通常只保留最近3个月的呼叫话单,财务数据库可能保留客户今年的交费情况,客户咨询数据库可能只保留客户2年内的咨询信息,于是,从这些数据中提取出完整的信息是不可能的。
(9)
8
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第8页!
分析型处理以数据仓库为中心分析数据背后的关联和规律,为企业的决策提供可靠有效的依据。比如,通过对超市近期数据进行分析可以发现近期畅销的产品,从而为公司的采购部门提供指导信息。
事务处理的使用人员通常是企业的具体操作人员,处理的数据通常是企业业务的细节信息,其目标是实现企业的业务运营;而分析处理的使用人员通常是企业的中高层的管理者,或者是从事数据分析的工程师。决策分析数据环境包含的信息往往是企业的宏观信息而非具体的细节,其目的是为企业的决策者提供信息支持,并最终指导企业的商务活动。。
事务处理和信息分析数据环境的分离,划清了数据处理的分析型环境与事务型环境之间的界限,从而由原来以单一数据库为中心的数据环境发展为以数据库为中心的事务处理系统和以数据仓库为基础的分析处理系统。企业的生产环境,也由以数据库为中心的环境发展为以数据库和数据仓库为中心的环境。
(2)
9
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第9页!
综上所述,在事务处理环境中直接构建分析处理应用是不合适的,要提高分析和决策的效率和有效性,分析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务处理环境中提取出来,按照DSS处理的需要进行重新组织,建立单独的分析处理环境,数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。
目前,数据仓库技术正成为企业信息集成和辅助决策应用的关键技术之一。当然,数据仓库的主要驱动力并不是过去的缺点和问题,而是市场商业经营行为的改变,市场竞争要求捕获和分析事务级的业务数据。
(4)
10
数据仓库与数据挖掘原理及应用第1章共69页,您现在浏览的是第10页!