欢迎投稿

今日深度:

电子商务数据仓库架构,

电子商务数据仓库架构,


 根据目前了解知识,简单介绍电子商务大数据的数据仓库架构,希望大家批评指正。

   

        首先说说数据仓库建设的几大部分:

       一、计算平台、展示平台

            计算平台目前主流hadoop集群+(greenplum or teradata),可支持日PV千万级别的应用需求,

            也有电商使用oracle、sqlserver做计算平台,可能由于历史原因未作修改,淘宝转hadoop是由于Oracle的硬件和维护价格过高,以后电商估计会逐渐像hadoop过渡,

            在不出现新技术的情况下。

            展示平台(这边只分析数据库,前端报表层了解有限)目前有mysql,oracel,postgresql,sqlserver,各有所长,按需选择。

     二、调度、监控系统

            调度系统目前多自己开发,比较简单,功能基本都已完善。

            监控系统比较复杂,功能还不完善,需要一起探讨。

    三、元数据管理

            目前国外常用的元数据标准是OMG组织制定的CWM模型,国内很多家没有专门的元数据管理标准,但实际建设过程中都有用到一些,需要找到适合自己的元数据管理规   范,这是数据仓库建设很重要的一环。

    四、模型

            由于经验较少,只说说自己认为可行的模型,建议按照专题划分,

           然后建设数据集市,汇总即为企业级数据仓库。

           分层建议分为 源数据层(可完全按照源格式,也可适当增加便于分析字段),中间层(此层可根据需求分多个中间层,主要用来存储常用中间表、事实表),

                                  多维层(此层数据从中间层获取),静态报表层(此层可从中间层或多维层获取)。

 

     由于刚做数据仓库这行,肯定有很多问题,但是不总结进步很慢,所以还是写上来,希望前辈看到帮忙指正,同时也可以给没入门的同学了解一下数据仓库情况,谢谢。

 

 

 

 

www.htsjk.Com true http://www.htsjk.com/teradata/35350.html NewsArticle 电子商务数据仓库架构,  根据目前了解知识,简单介绍电子商务大数据的数据仓库架构,希望大家批评指正。             首先说说数据仓库建设的几大部分:        一、计算...
相关文章
    暂无相关文章
评论暂时关闭