ETL数据抽取实施方案简介.docx

ETL数据抽取实施方案简介.docx精品文档
精品文档
1
精品文档
ETL数据抽取方案简介
目 录
ETL简介 3
ETL抽取方案 4
1. 数据抽取 4
2. 数据转换和加工 8
3. 数据装载 9
4. 时间戳方式 错误!未定义书签。
5. 全量删除插入方式 错误!未定义书签。
6. 全量比对方式 错误!未定义书签。
精品文档
精品文档
2
精品文档
ETL简介
数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机
地集中，从而提供全面的数据共享，是企业商务智能、数据仓库系统的
重要组成部分。ETL是企业数据集成的主要解决方案。
ETL中三个字母分别代表的是 Extract、Transform、Load，即抽取、
转换、加载。
（1）数据抽取：从源数据源系统抽取目的数据源系统需要的数据；
（2）数据转换：将从源数据源获取的数据按照业务需求，转换成目
的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；
（3）数据加载：将转换后的数据装载到目的数据源。
ETL作为构建数据仓库的一个环节，负责将分布的、异构数据源中
的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转
换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数
据挖掘的基础。现在越来越多地将 ETL 应用于一般信息系统数据的迁
移、交换和同步。一个简单 ETL流程如图1所示。
数据
文件
目
抽 转 加
其他
精品文档
精品文档
3
精品文档
临时
精品文档
精品文档
10
精品文档
图1
ETL抽取方案
ETL过程中的主要环节就是数据抽取、 数据转换和加工、数据装载。
为了实现这些功能，ETL工具会进行一些功能上的扩充，例如工作流、
调度引擎、规则引擎、脚本支持、统计信息等。
数据抽取
数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多
采用的是关系数据库。
从数据库中抽取数据一般有以下几种方式：
全量抽取
全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的
数据原封不动的从数
据库中抽取出来，并转换成自己的 ETL工具可以识别的格式。全量
精品文档
精品文档
5
精品文档
抽取比较简单。
精品文档
精品文档
10
精品文档
增量抽取
增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改
的数据。在ETL使用过程中，增量抽取较全量抽取应用更广。 如何捕获
变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，
能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能
对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用
的捕获变化数据的方法有：
触发器方式（又称快照式）
在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除
三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的
数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽