ETL&&UDF简介，

ETL&&UDF简介，

ETL&&UDF简介

一、ETL简介

1、ETL定义

英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。

目标

数据优化。以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据

ETL的前提

确定ETL范围

通过对目标表信息的收集，确定ETL的范围

b) 确定解决方案

抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换及数据验证

ETL 过程中我们主要用到三个 Teradata 工具：

Fast Load / Multi Load (较少)：将源数据文件导入到数据库 Stage 区

BTEQ：调用SQL执行转换过程

5、DW Automation 在整个过程中起到调度、控制和监视的作用，当相应控制文件到达后，它根据配臵负责调用相应的作业。

6、ETL总体处理过程如下：

a) Data Pump 从 Data Source 中抽取数据形成 Data Files；

b) Data Files 被 ETL Server 上的接收进程 FTP 到 File Directory；

c) 调用Fastload/MultiLoad将 Data Files 导入到 PD_STAGE；

d) 通过 BTEQ 调用 SQL 转换到目标库PD_DATAs.

二、UDF简介

1、定义：用户自定义函数（User Defined Function）

2、UDF价值：通过在Teradata数据库中以用户定义函数（user-defined functions-UDFs）形式嵌入数据挖掘模型和方法，新版数据挖掘软件能够为客户提供实时业务分析能力。Teradata Warehouse Miner的UDF增强功能就象一个索引，用户可以从该索引中选择链接到详细数据的套装功能。在Windows桌面环境中，企业用户现在只需点击、拖放 UDFs列表中其所需的分析功能，就可以在数据仓库中适当的详细数据上运行，而无需浪费时间通过手动编码来实现该功能或在系统间进行数据移动。UDFs的价值在于它们可在业务用户间实现共享和重用，从而在整个企业范围内确保分析的一致性。