tp-4410数据仓库与数据挖掘原理及应用第1章.ppt

1 第一篇数据仓库与 OLAP 第一章数据仓库基本概念 2第一章目录? 从数据库到数据仓库? 什么是数据仓库? 数据仓库与传统数据库的比较? 数据仓库的系统结构? 数据仓库的数据组织? 本章小结 3 从数据库到数据仓库传统数据库以及 OLTP ( On-Line Transaction Processing 联机事务处理)在日常的管理事务处理中获得了巨大的成功,但是对管理人员的决策分析要求却无法满足。因为,管理人员常常希望能够通过对组织中的大量数据进行分析,了解业务的发展趋势。而传统数据库只保留了当前的业务处理信息,缺乏决策分析所需要的大量的历史信息。为满足管理人员的决策分析需要,就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库( Data Warehose )。 4 蜘蛛网问题( 1) 在市场经济的激烈竞争中,信息对于企业的生存和发展起着至关重要的作用。企业对信息的需求是多方面的, 为了避免企业中各部门或各用户间的冲突和简化用户的数据视图,一种称作“抽取程序”的方法被广泛地应用。比如,市场部人员通常只关心企业的销售、市场策划方面的信息,而不注重企业的研发、生产等其他环节。因此,将销售、市场策划方面的信息抽取出来单独建立部门级的数据库很有必要,这样可以提高数据的访问效率。 5 在部门级数据的基础上可能还要被继续执行抽取程序, 以建立个人级的数据库。比如,专门负责制作公司财务报表的数据人员,常常需要从财务部门的数据库系统中抽取数据。又如,部门经理可能经常抽取常用的数据到本地,有针对性的建立个人级数据库就显得尤为重要。随着数据的逐层抽取,很可能最终导致系统内的数据间形成了错综复杂的网状结构,如图 所示,人们形象地称为“蜘蛛网”。一个大型的公司每天进行上万次的数据抽取很普遍。这种演变不是人为制造的,而是自然演变的结果。企业的规模越大,“蜘蛛网”问题就越严重。 蜘蛛网问题( 2)6 网上的任意两个节点的数据可能归根结底是从一个原始库中抽取出来的,但其数据没有统一的时间基准,因而错综复杂的抽取与访问将产生很多问题,主要有以下几个方面。 蜘蛛网问题( 3)7 1. 中展示了某企业的市场部和计划部对项目 I是否具有市场前景的分析过程和结果。市场部认为“项目 I的市场前景很好”,而计划部却得到截然相反的结果---- “项目 I没有市场前景”。作为企业的最终决策者,将如何根据这样的结论进行决策呢? 为什么分析同一个企业数据库中的数据,却得到截然相反的结论呢? 首先,两部门可能抽取数据的内容不同。比如,市场部抽取的是项目 I在大客户中的应用情况,而计划部抽取的是项目 I在普通客户中的应用情况。 蜘蛛网问题( 4)8 其次,可能两部门抽取数据的时间不同。如市场部在星期日晚上提取分析所需的数据,而计划部在星期三下午就抽取了数据。有任何理由相信对某一天抽取的数据样本进行分析与对另一天抽取的数据样本进行的分析可能相同吗?当然不能!企业内的数据总是在变的。再次,引用外部信息的不同。分析项目的发展趋势常常需要引入企业外部的信息,比如报刊信息、国家的政策等。市场部门引用的外部信息来源可能与计划部门不同, 而外部信息自然是仁者见仁,智者见智,这也可能是导致最终分析结果不同的原因。最后,分析程序的差异。市场部门使用的分析程序可能与计划部门不同,分析的内容和指标也可能不同。 蜘蛛网问题( 5)9 外部市场信息 A 外部市场信息 B 外部市场信息 C 外部信息的不同企业级数据库市场部计划部抽取数据的内容不同星期日晚星期三下午抽取数据的时间不同分析程序 1 分析程序 2 分析程序和分析内容不同分析结果 1 :项目 I 市场前景很好分析结果 2 :项目 I 没有市场前景图 两个分析结果的差异 蜘蛛网问题( 6) 10 2. 数据处理的效率很低数据分析的结果缺乏可靠性并不是蜘蛛网问题中唯一的主要问题。在一个大型企业中,不同级别的数据库可能使用不同类型的数据库系统,对于拥有巨型数据量的企业级数据库可能使用 IBM DB2 ,而对于部门级和个人级的中小型数据库可能使用 SQL Server 。各种数据库的开发工具和开发环境不同,当需要在整个企业范围内查询数据时,数据处理的低效率将是不容忽视的。如果一个大型企业的决策领导需要一份关于公司整体运营情况的报表,通常需要动用大量的人力和物力才能达到。首先,定位报表需要的数据,即确定报表涉及的内容分布在哪个数据库的哪个位置,然后调动各个部门的程序员/ 分析员对应用进行分析、设计和编