数据分析系统解决白皮书.pdf

数据分析系统
解决方案白皮书
北京畅然信息技术有限公司
2003 年 3 月
目录
数据分析系统的意义和特征.......................................................3
数据分析系统的实施方法.........................................................10
数据分析的行业典型应用......................................................... 11
数据分析的行业典型应用.........................................................12
数据分析系统实例.....................................................................14
公司简介......................................................................................21
2
数据分析系统的意义和特征
这里所称的数据分析系统泛指那些将数据转化为信息或知识的计算机应用系
统(也可称之为商业智能应用,Business Intelligence/BI),包括决策支持(DSS)、
联机分析(OLAP),查询与报表,预测分析,专业定量分析,数据挖掘,数据可
视化应用,分析型客户关系管理等等。这类系统为企业或机构进行有效管理、提
高竞争力提供信息和依据,是信息化进程中的高级阶段。已积累的数据是企业或
机构宝贵的财富,如何有效地进行数据利用以获得更大的利益是该阶段的中心目
标。
企业或机构在其发展过程中逐渐形成了多种独立或相关应用系统以支撑日常
运行和管理,比如业务处理系统、财务核算系统、ERP 系统、人事系统、计费系
统、呼叫中心等。还有一些公司通常由地点上分布的多个子公司或部门组成,子
公司或部门独立地使用着各自的业务处理系统,如电信公司的分公司都有自己的
网管系统。而这些子系统往往是异质的,即基于不同厂商的或不同结构的数据库
系统。在信息技术不断发展的今天,人们对信息的使用也越来越复杂。除了对业
务数据进行增、删、改等事务处理操作和简单的统计汇总以外,高层管理者还要
使用数据(历史的、现在的)进行各种复杂分析,如长期趋势分析和数据挖掘等,
以支持决策。从大量的历史数据中获取信息,要求系统保存足够的历史数据,而
且还要进行复杂的分析处理(每次处理涉及大量数据)。如果直接基于分散的各
种事务处理系统开展分析应用,则不可避免地要遇到以下诸多障碍:
1. 缺乏组织性,数据难以转化为有用的信息。事务处理系统中数据结构是
面向操作的有效性组织的,而非面向分析的需要。分析所需要的数据内容
可能分散在许多数据对象甚至许多应用中。同一字段在不同应用中又可能
存在着同名异义、异名同义、单位不同、字长不同等许多难以识别的矛盾。
就事论事地将这些零碎而且结构各不相同的数据统一起来的工作将是复杂
而繁重,难以应付不断变化的分析工作的需要。
2. 干扰事务处理系统的正常运行。分析处理往往需要涉及较大的数据量,
而事务处理系统则要求尽快做出响应,如果进行一次大规模的分析,对事
3
务处理系统性能的影响是难以忍受的,从而严重影响其正常运行。
3. 缺乏足够的历史数据。分析应用常常需要通过一段历史时期的数据来分
析趋势,而事务处理系统中一般只存储当前的短期数据,且各个应用领域
的保存期限也不一样,这对于长期趋势分析和规律探索构成制约。
4. 结果的准确可比性难以保证。事务处理系统是随时更新变化的。基于随
时变化的数据源难于对问题作出一致的回答,而不一致的答案会干扰决策
过程。
一般来说决策过程分这样三个阶段:
1. 发现问题
一开始,往往并未搞清问题是什么,只是就所看到的现象提出了疑问和怀疑。
这时希望能方便地从不同的方面和角度对数据进行测试、比较并找出其异常之所
在。特别是当观察到某些因素组合起来会产生了特定的效果时,这尤其重要,这
往往就是此后要深入研究的地方。
2. 更加详细的分析和探讨所提出的问题
一旦发现了某种趋势或异常就要确认和解释其缘由。所谓分析,不仅是观察
和列表,更重要的是:
o 证实这种趋势存在的必然性;
o 搞清楚为什么会存在这种趋势或异常;
o 预测这种趋势随着时间进程的发展;
o 预测这种趋势或异常会造成什么影响和后果。
3. 向其他决策者展现你的发现和结论