Hadoop发展历程及重要核心模块解读，hadoop发展历程解读

Hadoop发展历程及重要核心模块解读，hadoop发展历程解读

本文内容及截图来自网络课堂。

目录

Hadoop 四大模块演变

Hadoop HDFS

Hadoop MapReduce

Hadoop YARN

---

Hadoop 四大模块演变

说明：

版本特点：

 

Hadoop HDFS

HDFS:Hadoop Distributed File System——分布式文件系统

文件系统： 文件+存储block块。

a.单机文件系统：

windows:FAT16,FAT32,NTFS

linux:ext2/3/4,VFS

b. 分布式文件系统

多个服务器存储 文件系统

c.三大组件

• Namenode:

I.元数据：文件名、目录名、属性（生成时间、权限、副本）

II.文件名与block列表映射关系

III.block与Datanode列表映射关系

•  DataNode:

block块数据、校验和编码

• SecondaryNamenode

分担Namenode压力，合并编辑日志edits和镜像文件fsimage(因为合并操作需要占用很 大的系统资源，影响客户端使用。)，合并后将最终的镜像文件 fsimage返回给Namenode处理。

 

 

Hadoop MapReduce

——分布式计算

 

 

处理流程：

 

Hadoop YARN

——资源调度和任务管理

四大组件：

• ResourceManager (RM)

• NodeManager (NM)

• ApplicationManager(AM)

• Container

执行流程：

注意：NM启动后回去RM上进行注册，会不断发送心跳，说明处于存活状态。