欢迎投稿

今日深度:

Yarn简介(二),yarn简介

Yarn简介(二),yarn简介


我很兴奋的向大家宣布,Apache Hadoop社区已经决定提升下一代Hadoop数据处理框架,也就是Yarn,成为Apache Hadoop的子项目。

Apache Hadoop YARN和Hadoop Common(核心库),Hadoop HDFS(持久化层),Hadoop MapReduce(MapReduce实现)一起成为Apache Hadoop的子项目,而Apache Hadoop在Apache软件基金会中是一个顶级项目。在这之前,Yarn是作为Hadoop MapReduce项目的一部分,而现在作为Hadoop的子项目,已经可以独立发展。

简而言之,Yarn正在试图使Hadoop处理数据的方式不仅仅只有MapReduce。

开发人员逐渐意识到,Hadoop HDFS是Hadoop的数据持久化层,而MapReduce是数据处理层。然而,单独的MapReduce的算法,不能适应广泛的Hadoop被用来处理的应用场景。有了Yarn,Hadoop现在拥有更通用的资源管理器和分布式应用程序框架,在此基础上,研发人员可以针对某一任务可以同时开发多种处理范式。现在Hadoop MapReduce仅仅是Yarn中的一种 计算范式,我能看到在不久的将来,在Yarn中会出现MPI, graph-processing,简单服务等等,所有的都将和MapReduce一起共存在Hadoop Yarn集群中。

Implications for the Apache Hadoop Developer community

我想必须要花些时间来接受由于Yarn升级为子项目带来的变化,尤其是对那些Hadoop开发者的社区的社区

  • 我将在Hadoop目录中看到一个顶级hadoop-yarn-project的源代码目录
  • 我们将使用一个单独的jira项目,以用作Yarn的问题跟踪 https://issues.apache.org/jira/browse/YARN
  • 我们将使用一个新的协作用的邮件列表 yarn-dev@hadoop.apache.org
  • 我们将继续发布单独的Apache Hadoop的释放包,将包括Common,HDFS,YARN,MapReduce等子项目
如果你想使用Yarn,请下载最近的hadoop-2的版本,参与贡献,可以是参与核心的Yarn项目,也可以是在Yarn上开发应用。

请记住hadoop-2现在还是测试版,不过Yarn已经承诺很多功能,我们对于将来的版本很期待。

Conclusion

总的来说,YARN成为Hadoop社区的子项目是一个非常有意义的里程碑,在这些年Hadoop的发展上。就个人而言,考虑到Yarn超过4年的发展历程,一切都很有意义。当这个时刻来临,内心充满了快乐和荣耀。

www.htsjk.Com true http://www.htsjk.com/Hadoop/29154.html NewsArticle Yarn简介(二),yarn简介 我很兴奋的向大家宣布,Apache Hadoop社区已经决定提升下一代Hadoop数据处理框架,也就是Yarn,成为Apache Hadoop的子项目。 Apache Hadoop YARN和Hadoop Common(核心库),Ha...
相关文章
    暂无相关文章
评论暂时关闭