ETL数据抽取实施方案简介.doc

ETL数据抽取实施方案简介
图1
ETL抽取方案
ETL过程中的主要环节就是数据抽取、数据变换和加工、数据装载。
为了实现这些功能，ETL工具会进行一些功能上的扩大，比方工作流、
调动引擎、规则引擎、脚本支持、统计信息等。
数据抽取
数据抽取是从数据源中抽取数据的过程。本质应用中，数据源好多
采用的是关系数据库。
从数据库中抽取数据一般有以下几种方式：
全量抽取
全量抽取近似于数据迁移或数据复制，它将数据源中的表或视图的
数据纹丝没动的从数
据库中抽取出来，并变换成自己的ETL工具能够识其他格式。全量
抽取比较简单。
4
ETL数据抽取实施方案简介
增量抽取
增量抽取只抽取自前一次抽取以来数据库中要抽取的表中新增或改正
的数据。在ETL使用过程中，增量抽取较全量抽取应用更广。怎样捕捉
变化的数据是增量抽取的要点。对捕捉方法一般有两点要求：正确性，
能够将业务系统中的变化数据按必定的频次正确地捕捉到；性能，不能够
对业务系统造成太大的压力，影响现有业务。当前增量数据抽取中常用
的捕捉变化数据的方法有：
触发器方式（又称快照式）
在要抽取的表上建立需要的触发器，一般要建立插入、改正、删除
三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的
数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过
的数据被标记或删除。
优点：数据抽取的性能高，ETL加载规则简单，速度快，不需要修
改业务系统表构造，能够实现数据的递加添载。
缺点：要求业务表建立触发器，对业务系统有必定的影响，简单对
源数据库组成威胁。
时间戳方式
它是一种鉴于快照比较的变化数据捕捉方式，在源表上增加一个时
间戳字段，系统中更新改正表数据的时候，同时改正时间戳字段的值。
当进行数据抽取时，经过比较前一次抽取时间与时间戳字段的值来决定抽
取哪些数据。有的数据库的时间戳支持自动更新，即表的其他字段的数
据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的
5
ETL数据抽取实施方案简介
自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。
优点：同触发器方式相同，时间戳方式的性能也比较好，ETL系统
设计清楚，源数据抽取相对清楚简单，能够实现数据的递加添载。
缺点：时间戳保护需要由业务系统达成，对业务系统也有很大的倾
入性（加入额外的时间戳字段），特别是对不支持时间戳的自动更新的数
据库，还要求业务系统进行额外的更新时间戳操作；其他，无法捕捉对
时间戳以前数据的delete和update操作，在数据正确性上遇到了必定
的限制。
全表删除插入方式
每次ETL操作均删除目标表数据，由ETL崭新加载数据。
优点：ETL加载规则简单，速度快。
缺点：关于维表加外键不适应，当业务系统产生删除数据操作时，
综合数据库将不会记录到所删除的历史数据，不能够够实现数据的递