hadoop学习（3）—— hadoop基础模块介绍，hadoop模块

hadoop学习（3）—— hadoop基础模块介绍，hadoop模块

一、分布式系统市建立在网络之上的软件系统，内聚性和透明性。
二、Hadoop四个模块
Hadoop Common
为其他Hadoop模块提供基础设施
Hadoop HDFS
一个高科好、高吞吐量的分布式文件系统
Hadoop MapReduce
一个分布式的离线并行计算框架
Hadoop YARN
一个新的MapReduce框架，任务调度与资源管理
三、
NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。
DataNode在本地文件系统存储文件块数据，以及文件块数据的校验和。
Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。