欢迎投稿

今日深度:

hadoop菜鸟的学习笔记---Hadoop体系结构,

hadoop菜鸟的学习笔记---Hadoop体系结构,


         语言是表达思想最有利的武器!

HDFS和MapReduce是Hadoop体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布式计算和处理任务。HDFS在MapReduce任务处理过程中提供了对文件操作和存储的支持,MapReduce在HDFS基础上实现了任务的分发、跟踪、执行等工作,并收集结果。

HDFS采用了主从Master/Slave结构模型,HDFS集群是由一个NameNode和若干个DataNode组成的,namenode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据,namenode也负责数据块到具体的datanode的映射,datanode也负责处理文件系统客户端的文件读写请求,并在namenode的统一调度下进行数据块的创建、删除和复制等工作。

www.htsjk.Com true http://www.htsjk.com/Hadoop/40087.html NewsArticle hadoop菜鸟的学习笔记---Hadoop体系结构,          语言是表达思想最有利的武器! HDFS和MapReduce是Hadoop体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布...
相关文章
    暂无相关文章
评论暂时关闭