ETL利器Kettle实战应用解析系列二【应用场景和实战DEMO】.doc

1、应用场景这里简单概括一下几种具体的应用场景,按网络环境划分主要包括:表视图模式:这种情况我们经常遇到,就是在同一网络环境下,我们对各种数据源的表数据进行抽取、过滤、清洗等,例如历史数据同步、异构系统数据交互、数据对称发布或备份等都归属于这个模式;传统的实现方式一般都要进行研发(一小部分例如两个相同表结构的表之间的数据同步,如果sqlserver数据库可以通过发布/订阅实现),涉及到一些复杂的一些业务逻辑如果我们研发出来还容易出各种bug;前置机模式:这是一种典型的数据交换应用场景,数据交换的双方A和B网络不通,但是A和B都可以和前置机C连接,一般的情况是双方约定好前置机的数据结构,这个结构跟A和B的数据结构基本上是不一致的,这样我们就需要把应用上的数据按照数据标准推送到前置机上,这个研发工作量还是比较大的;文件模式:数据交互的双方A和B是完全的物理隔离,这样就只能通过以文件的方式来进行数据交互了,例如XML格式,在应用A中我们开发一个接口用来生成标准格式的XML,然后用优盘或者别的介质在某一时间把XML数据拷贝之后,然后接入到应用B上,应用B上在按照标准接口解析相应的文件把数据接收过来;综上3种模式如果我们都用传统的模式无疑工作量是巨大的,那么怎么做才能更高效更节省时间又不容易出错呢?答案是我们可以用一下Kettle-_-!2、DEMO实战2、1实例1:数据库TestA中的UserA表到数据库TestB的UserB表1)为方便演示,我这边把Sql脚本贴出来,大家直接复制在sqlserver中运行即可,sql脚本如下:简单表之间交换usemasterIFEXISTS(SELECT1FROMsysdatabasesWHERENAME=N'TestA')BEGINDROPDATABASETestA--如果数据库存在先删掉数据库ENDGOCREATEDATABASETestAONPRIMARY--创建主数据库文件(NAME='TestA',FILENAME='E:\ETL\DB\',SIZE=5MB,MaxSize=20MB,FileGrowth=1MB)gouseTestA--建立一个测试的用户表createtableusersA(idintnotnull,useridvarchar(50)notnull,usernamevarchar(200)null)go--插入3条记录insertintousersAvalues(1,'lisi','李四');insertintousersAvalues(2,'zhangsan','张三');insertintousersAvalues(3,'lisi','李四');gousemasterIFEXISTS(SELECT1FROMsysdatabasesWHERENAME=N'TestA')BEGINDROPDATABASETestA--如果数据库存在先删掉数据库ENDGOCREATEDATABASETestBONPRIMARY--创建主数据库文件(NAME='TestB',FILENAME='E:\ETL\DB\',SIZE=5MB,MaxSize=20MB,FileGrowth=1MB)gouseTestB--建立一个测试的用户表createtableusersB(idint