欢迎投稿

今日深度:

北美数据仓库的四大常用技术(1)(3)

数据仓库的商业应用技术之三:数据仓库的架构技术

1. 多层次企业级数据仓库:DataMart-> EDW

在这个数据仓库架构的模型中,左边的是数据源通过变换到数据集市中,然后从数据集市再到企业级数据仓库(EDW)中,最后直接给终端用户使用。多层次主要体现在ETL和数据集成上,这个方法的优点在于建立了多个数据集市,它体现了一个分布式集成的概念,很大程度降低了企业级数据仓库建设的风险,更减少了资源投入,如下图。

2. 多层次企业级数据仓库: EDW -> DataMart

这个模型一开始就设计它的企业级数据仓库(EDW),这种方法针对于一些涵盖了多个业务系统、面向不同用户的需求、针对数据平台也不一样的企业,例如:银行。用这个方法,把所有的业务系统考虑入内,通常考虑整体设计,然后再分发出去。DataMart划分方法有很多种。它的优点是集成度比较好,总体设计一开始就把所有的数据源都放到企业级数据仓库。缺点是风险高,投入也相对很高,如下图。

通常来说,实际项目中采用第一种方法的比较多。

3. 近实时的数据仓库

数据仓库是动态的,是随时间变化的。应用数据仓库,我们可以每天、每个月、每年分段来调取数据,如下图。

近实时(Near Real Time)的要求是比较高的,例如我们建立了一个数据仓库是全球性的,数据仓库中心在多伦多,数据源分布在很多地方如北美、欧洲,它需要一个近实时的操作系统。近实时的概念是操作系统和业务系统产生的数据,在一小时之内完成所有ETL任务,最后进入数据仓库。它对数据源的业务系统有比较高的要求,如数据的稳定性、可靠性、网络传输速率等,同时也涵盖了很多方面的专门技术来解决实时性。

4. 后复合数据集市

由于业务的扩展,企业增加了一个新的生产系统,从而诞生了新的数据源。我们需要建立一个新的数据源(New Data Source)通过ETL工作集成到数据集市(DMART)中,并与企业级数据仓库(EDW)结合到一起,最后提供给终端用户,如下图。




www.htsjk.Com true http://www.htsjk.com/shujukukf/17669.html NewsArticle 数据仓库的商业应用技术之三:数据仓库的架构技术 1. 多层次企业级数据仓库:DataMart- EDW 在这个数据仓库架构的模型中,左边的是数据源通过变换到数据...
评论暂时关闭