Yarn简介(二),yarn简介
我很兴奋的向大家宣布,Apache Hadoop社区已经决定提升下一代Hadoop数据处理框架,也就是Yarn,成为Apache Hadoop的子项目。
Apache Hadoop YARN和Hadoop Common(核心库),Hadoop HDFS(持久化层),Hadoop MapReduce(MapReduce实现)一起成为Apache Hadoop的子项目,而Apache Hadoop在Apache软件基金会中是一个顶级项目。在这之前,Yarn是作为Hadoop MapReduce项目的一部分,而现在作为Hadoop的子项目,已经可以独立发展。
简而言之,Yarn正在试图使Hadoop处理数据的方式不仅仅只有MapReduce。
开发人员逐渐意识到,Hadoop HDFS是Hadoop的数据持久化层,而MapReduce是数据处理层。然而,单独的MapReduce的算法,不能适应广泛的Hadoop被用来处理的应用场景。有了Yarn,Hadoop现在拥有更通用的资源管理器和分布式应用程序框架,在此基础上,研发人员可以针对某一任务可以同时开发多种处理范式。现在Hadoop MapReduce仅仅是Yarn中的一种 计算范式,我能看到在不久的将来,在Yarn中会出现MPI, graph-processing,简单服务等等,所有的都将和MapReduce一起共存在Hadoop Yarn集群中。
Implications for the Apache Hadoop Developer community
我想必须要花些时间来接受由于Yarn升级为子项目带来的变化,尤其是对那些Hadoop开发者的社区的社区
- 我将在Hadoop目录中看到一个顶级hadoop-yarn-project的源代码目录
- 我们将使用一个单独的jira项目,以用作Yarn的问题跟踪 https://issues.apache.org/jira/browse/YARN
- 我们将使用一个新的协作用的邮件列表 yarn-dev@hadoop.apache.org
- 我们将继续发布单独的Apache Hadoop的释放包,将包括Common,HDFS,YARN,MapReduce等子项目
请记住hadoop-2现在还是测试版,不过Yarn已经承诺很多功能,我们对于将来的版本很期待。
Conclusion
总的来说,YARN成为Hadoop社区的子项目是一个非常有意义的里程碑,在这些年Hadoop的发展上。就个人而言,考虑到Yarn超过4年的发展历程,一切都很有意义。当这个时刻来临,内心充满了快乐和荣耀。