自建Hive数据仓库跨版本迁移到阿里云E-MapReduce,
最佳实践概述
应用场景
客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统,同时借助Hive进行常见的ETL任务。客户在决策上云之后,会将自建Hadoop集群的数据迁移到和通数据库自建Hadoop或者EMR。
技术架构
本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。
方案优势
- 易用性
您可以简单选择所需ECS机型(CPU、内存)与磁盘,并选择所需的软件,进行自动化部署。 - 经济性
您可以按需创建集群,即离线作业运行结束就可以释放集群,还可以在需要时动态地增加节点。 - 深度整合
E-MapReduce与和通数据库其它产品(例如,OSS、MNS、RDS 和 MaxCompute 等)进行了深度整合,支持以这些产品作为Hadoop/Spark计算引擎的输入源或者输出目的地。 - 安全
E-MapReduce整合了和通数据库RAM资源
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。