ETL工具kettle学习总结.docx

概览
Keｔtle也叫PDI(全称是Pｅｎtaｈｏ Ｄatａ Inｔegｅratｉon）,是一款开源的ＥTL工具,项目开始于2００３年，20０6年加入了开源的　BＩ 组织 Ｐｅntaho,　:
术语
Transfoｒmａtiｏn
转换步骤，可以理解为将一个或者多个不同的数据源组装成一条数据流水线。然后最终输出到某一个地方，文件或者数据库等。
Jｏb
作业,可以调度设计好的转换，也可以执行一些文件处理(比较，删除等）,还可以ftp上传，下载文件,发送邮件,执行shelｌ命令等,
Ｈop 连接转换步骤或者连接Job(实际上就是执行顺序)的连线
　 Tｒａnsｆorｍaｔion　hop：主要表示数据的流向。从输入，过滤等转换操作，到输出。
Jｏｂ　ｈoｐ:可设置执行条件：
无条件执行
当上一个Job执行结果为true时执行
当上一个Jｏb执行结果为falsｅ时执行
Keｔｔle,etl设计及运行
Kettle整体结构图
　 　　 　 　　 　　　 Ketｔle整体结构图
转换设计样例图
绿色线条为hｏp，流水线
　 　　　 　 　 　 转换设计样例
运行方式
使用 jaｖa web sｔarｔ　方式运行的配置方法
命令行方式
Wｉndowｓ下执行kitｃhen．bat，多个参数之间以“／"分隔，Key和value以”：”分隔
例如:
／fiｌe： Ｆ：\sａmples\demo— /ｌeveｌ：Ｂasic ／lｏg：teｓt１23．lｏg
/filｅ: 指定转换文件的路径
／ｌeｖel:执行日志执行级别
／loｇ： 执行日志文件路径
,多个参数之间以“－"分隔，Key和ｖalue以”=”分隔
kitcｈen。ｓｈ - -lｅｖｅl=Mｉｎimaｌ
如果设计的转换，Joｂ是保存在数据库中,则命令如下：
/rｅp:资源库名称 /user：ａｄmｉｎ　/paｓs:admin /job:joｂ名
Ｘml保存转换,job流程
设计 用户定义的作业可以保存在（xml格式）中或某一个特定的数据库中
转换的设计文件以。kｔr结尾（xml文格式）,保存所有配置好的数据库连接，文件相对路径,字段映射关系等信息.
，下面是一个调用已经设计好的转换的ｊｏb文件的一部分:
<entry〉
　 　<name＞deｍo　tｅst〈/nａmｅ>
　 　 〈descriｐｔｉoｎ〉Transfoｒmatiｏn〈/descriｐtiｏn>
<ｔype>TRANＳ<／type＞
　 〈〉＄{Ｉｎｔeｒnal。Ｊｏb。｝&＃4７;deｍo－</＞
　 ＜transnaｍe〉ｌoad cusｔomｅr data joｂ<／transname＞
　 　＜direcｔorｙ>${。｝〈／ｄｉrecｔorｙ>
　　 〈arg_fｒｏm_preｖiouｓ>N</arｇ＿ｆｒom_prevｉouｓ〉
　　 ＜exec_per_row＞N＜/eｘec＿ｐer_row>
<cｌear＿rowｓ〉N〈/cｌｅar_ｒoｗs＞
　<cleａｒ_files>Ｎ＜/clear_files〉
　 ＜set＿lｏgfile＞N<／set＿logfiｌe＞
　　 〈logfｉle／〉
　　〈logext/〉
　 　 ………
〈/ entrｙ 〉
数据库保存转换，joｂ流程
列出几个重要的表
ｒ＿job： 保存ｊob的id,naｍe，status，执行时间，创建时间，修改时间等信息
建表语句：
ＤROP　TABLE　IF　ＥXISＴS ｀r＿joｂ`；
CREATＥ TＡBLE `r＿job` （
`ID_JOB｀ bigｉnt(20）　NOT　NUＬL,
`ID_DIRECＴORY` int(１1） DEＦAULT NULL，
｀NAME` vａｒｃhａｒ(2５5） ＤEFAＵLT NULL，
　`DESＣRＩPTION`　mediｕmｔext，
　　`EXTＥNＤED_DESCRＩPTＩON` mｅｄiumtexｔ，
　 ｀ＪＯＢ＿ＶERSION｀ ｖaｒchaｒ（２55） DEFAＵＬT　NULL，
`JOB＿ST