欢迎投稿

今日深度:

【Hadoop】之 Hadoop 1.x 初识,

【Hadoop】之 Hadoop 1.x 初识,


Hadoop1.x 组件






名称节点(NameNode)


简介

FsImage

用于维护文件系统树以及文件树种所有的文件和文件夹的元数据(内存元数据:包含datanode上块的映射信息)

Editlog

记录了所有针对文件的创建、删除,重命名等操作。




第二名称节点(Secondary Namenode)


简介

作用:
(1)完成EditLog与FsImage的合并操作,减小EditLog文件大小,缩短名称节点重启时间
(2)作为名称节点的”检查点”,保存名称节点中的元数据信息。




数据节点(DataNode)


简介

是分布式文件系统hdfs的工作节点,负责数据的存储和读取,会根据客户端或者名称节点的调度来进行数据的存储和检索,并且向名称节点定期发送自己所存储的快列表。




作业跟踪器(JobTracker)


简介

负责一个任务的整个执行过程。
调度各个子任务(Mapper任务和Reducer任务各自的子任务)到各自的计算节点运行,时刻监控任务运行和计算节点的健康状况,对失败的子任务重新调度执行




任务跟踪器(TaskTracker)


简介

运行在各个数据节点上,用来启动和管理各个Map/Reduce任务。与作业跟踪器进行通信。

www.htsjk.Com true http://www.htsjk.com/Hadoop/38782.html NewsArticle 【Hadoop】之 Hadoop 1.x 初识, Hadoop1.x 组件 名称节点(NameNode) 简介 FsImage 用于维护文件系统树以及文件树种所有的文件和文件夹的元数据(内存元数据:包含datanode上块的映射信息)...
相关文章
    暂无相关文章
评论暂时关闭