Teradata ETL触发和依赖,
Teradata ETL Automation是管理触发和依赖关系的GUI; ETL七个服务(etlagent,etlclean,etlmaster,etlmsg,etlschedule,etlwdog,etlrcv)是管理触发和依赖关系的后台系统程序,有效的维持触发和依赖关系,保障作业按照约定的顺序调度运行。 在Teradata中触发源有两种:1、时间触发;2、作业触发(作业触发又分两种:Stream 一对一的触发;组触发:多个作业触发一个作业)。时间触发是源头,一般是FTP作业都是由时间触发。 ETL的七个服务中所有与时间判断相关的都是指TXDATE,这些服务在整个ETL过程中所起的作用为: etlrcv:不断的读取receive目录下的dir.*文件,判断作业的Frequency,DatafileSize,Calendar,以及判断文件是否重复,检查过后将文件移至Queue目录,并更改作业状态为Pending。时间触发的作业其控制文件不由etlrcv处理,不经过receive目录 etlmaster:不断的读取queue目录下的*.dir文件以及ETL_JOB_QUEUE表(上下游作业不在同一服务器上运行时),文件名标志为系统名_作业名_TXDATE.dir,经过etlrcv的判断和选择后,该服务判断作业能否运行,满足作业运行条件的情况下移至Process目录,并更改作业状态为Running.作业能运行的条件是:1.其上游依赖的作业没有运行,2.其下游的作业没有运行,3.存在对应的bin目录 etlslave:所有作业运行有这个脚本来调度,在对应的目录产生对应的文件,作业运行完毕后,更改组作业状态和产生新的触发关心,将新产生的dir.*控制文件送至receive目录 etlschedule:调度作业,主要是调度有时间触发的FTP作业等 etlmsg:邮件调度作业,读取*.msg发送给指定的运维人员 etlclean:根据ETL_JOB表中设定的数据文件和日志文件的保存日期,清理ETL服务器的LOG文件夹下的过期的日志文件和DATA目录子目录下的过期数据文件 etlwdog:主要是监听ETL_SERVER
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。