数据仓库的商业应用技术之二：数据的ETL抽取、变换、载入技术
1. 三层ETL体系
我们将数据的抽取、变换、载入技术称为ETL技术。ETL技术中，按要素分为三层，即元数据层、数据操纵层、数据存储层，三层交互作用。ETL工作首先需要在元数据层定义和构建，同时也涉及到有关数据存储的方式定义;基于元数据层的对象，ETL工作在数据操纵层对数据进行实际操作，并把数据载入到数据存储层;ETL工作还需要在数据存储层做一些必要的数据管理和优化工作。这就形成了ETL数据操纵的三层体系，如下图。
元数据 -> 数据操作层 -> 数据存储层。
2. ETL递进式数据演变
ETL数据变换在实际项目中有很多的方法，很多阶段，在此我们根据经验分为4个阶段为：
LANDING：抽取数据到Landing层中。
STAGING：根据我们业务的要求进行数据变换到Staging层中。
DATA CENTER：再根据需求设计放在Data Center层(也是EDW企业级数据仓库)中。
DATA MART：最后根据主题存放在Data Mart层中，如下图。
3. 并行ETL架构
并行处理技术也是数据库的一项核心技术，它可以提高ETL过程中在数据层处理的执行效率，将大量的查询过程分布到多个节点上同时执行。一个并行处理体系结构的数据仓库系统，不仅应该确保底层硬件平台的所有资源都得充分利用，而且应该能够将这些资源适当分配给多个并发请求，以提高数据层的并发处理能力，如下图。
4. ETL任务调度及备份
ETL任务调度(Scheduling Tasks)很重要，需要实时的备份。常用的ETL任务调度工具(Scheduling Tools)有：
Unix scripts：Corn有比较稳定的可靠性。
Database Management Tool：Oracle Enterprise Manager
Third Party Tool：Control-M专用工具，专门为数据仓库完成任务，主要做ETL的Scheduling。
ETL任务调度备份方法有很多，如：
Scheduling Backup：Control-M as Master,
Unix Corn as Backup.
这样，相当于做了两个Scheduling设计，互为备份。
