欢迎投稿

今日深度:

Hadoop 1.x与Hadoop 2.x,

Hadoop 1.x与Hadoop 2.x,


一、Hadoop2.0产生的背景

——Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题

——HDFS存在的问题

·NameNode单点故障,难以应用于在线场景 HA

·NameNode压力过大,且内存受限,影扩展性 F

——MapReduce存在的问题响系统

·JobTracker访问压力大,影响系统扩展性

·难以支持除MapReduce之外的计算框架,比如Spark、Storm等

二、Hadoop 1.x与Hadoop 2.x

——Hadoop 2.x由HDFS、MapReduce和YARN三个分支构成;

·HDFS:NN Federation(联邦)、HA;

---2.X:只支持2个节点HA,3.0实现了一主多备

·MapReduce:运行在YARN上的MR;

---离线计算,基于磁盘I/O计算

·YARN:资源管理系统

 

www.htsjk.Com true http://www.htsjk.com/Hadoop/38836.html NewsArticle Hadoop 1.x与Hadoop 2.x, 一、Hadoop2.0产生的背景 ——Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 ——HDFS存在的问题 · NameNode单点故障,难以应用于在线场景 HA · NameNode压力过...
相关文章
    暂无相关文章
评论暂时关闭