2021年ETL面试题.docx

1. 什么是逻辑数据映射？它对ETL项目组作用是什么？
答：逻辑数据映射（Logical Data Map）用来描述源系统数据定义、目标数据仓库模型和将源系统数据转换到数据仓库中需要做操作和处理方法说明文档，通常以表格或Excel格式保留以下信息：
目标表名：
目标列名：
目标表类型：注明是事实表、维度表或支架维度表。
SCD类型：对于维度表而言。
源数据库名：源数据库实例名，或连接字符串。
源表名：
源列名：
转换方法：需要对源数据做操作，如Sum(amount)等。
逻辑数据映射应该贯穿数据迁移项目标一直，在其中说明了数据迁移中ETL策略。在进行物理数据映射前进行逻辑数据映射对ETL项目组是关键，它起着元数据作用。项目中最好选择能生成逻辑数据映射数据迁移工具。
，数据探索阶段关键目标是什么？
答：在逻辑数据映射进行之前，需要首先对全部源系统进行分析。对源系统分析通常包含两个阶段，一个是数据探索阶段（Data Discovery Phase），另一个是异常数据检测阶段。
数据探索阶段包含以下内容：
1)搜集全部源系统文档、数据字典等内容。
2)搜集源系统使用情况，如谁在用、天天多少人用、占多少存放空间等内容。
3)判定出数据起始起源（System-of-Record）。
4)经过数据概况（Data Profiling）来对源系统数据关系进行分析。
数据探索阶段关键目标是了解源系统情况，为后续数据建模和逻辑数据映射打下坚实基础。
？
答：这个问题关键是了解什么是System-of-Record。System-of-Record和数据仓库领域内其它很多概念一样，不一样人对它有不一样定义。在Kimball体系中，System-of-Record是指最初产生数据地方，即数据起始起源。在较大企业内，数据会被冗余保留在不一样地方，在数据迁移过程中，会出现修改、清洗等操作，造成和数据起始起源产生不一样。
起始起源数据对数据仓库建立有着很关键作用，尤其是对产生一致性维度来说。我们从起始起源数据越下游开始建立数据仓库，我们碰到垃圾数据风险就会越大。
？
答：Kimball数据仓库构建方法中，ETL过程和传统实现方法有部分不一样，关键分为四个阶段，分别是抽取（extract）、清洗（clean）、一致性处理（comform）和交付（delivery），简称为ECCD。
1)抽取阶段关键任务是：
读取源系统数据模型。
连接并访问源系统数据。
改变数据捕捉。
抽取数据到数据准备区。
2)清洗阶段关键任务是：
清洗并增补列属性。
清洗并增补数据结构。
清洗并增补数据规则。
增补复杂业务规则。
建立元数据库描述数据质量。
将清洗后数据保留到数据准备区。
3)一致性处理阶段关键任务是：
一致性处理业务标签，即维度表中描述属性。
一致性处理业务度量及性能指标，通常是事实表中事实。
去除反复数据。
国际化处理。
将一致性处理后数据保留到数据准备区。
4)交付阶段关键任务是：
加载星型和经过雪花处理维度表数据。
产生日期维度。
加载退化维度。
加载子维度。
加载1、2、3型缓慢改变维度。
处理迟到维度和迟到事实。
加载多值维度。
加载有复杂层级结构维度。
加载文本事实到维度表。
处理事实表代理键。
加载三个基础类型事实表数据。
加载和更新聚集。
将处理好数据加载到数据仓库。
从这个任务列表中能够看出，ETL过程和数据仓库建模过程结合很紧密。换句话说，ETL系统设计应该和目标表设计同时开始。通常来说，数据仓库架构师和ETL系统设计师是同一个人。
？各有什么优缺点？
答：1)固定格式文本文件。（Flat File）
Flat File指是一个保留在系统上一个文本文件格式，它以类似数据库表方法用行和列来保留数据。这种文件格式常常见来进行数据交换。用于保留数据不太适宜。
2)XML数据集。
多用于数据交换，用户保留数据不太适宜。
3)关系数据库表。
保留数据较理想选择。
4)独立数据库表。
独立数据库表通常指建立表和其它表没有外键约束关系。这么表多用于数据处理。
5)三范式或关系型模型。
6)非关系型数据源。
非关系型数据源通常包含COBOL copy books、VSAM文件、Flat文件、Spreadsheets等。
7)维度模型。
8)原子事实表和聚集事实表。
9)代理键查找表。
？
答：Staging意思