Hadoop各个核心项目架构，hadoop核心架构
hdfs 的数据写的过程
HDFS2的架构
负责对数据的分布式存储，主从结构
主节点——namenode
可以有2个，负责内容：
1)接收用户的请求操作，使用户操作的入口
2)维护文件系统的目录结构，称为命名空间
从节点——datanode
至少一个，只干一件事：存储数据
Yarn的架构
是一个资源的调度和管理平台，也是主从结构
主节点——ResourceManager
可以有2个，主要负责：
1)集群资源的分配和调度
2)MR、Storm、Spark等应用，要想被RM管理，必须实ApplicationMaster接口
从节点——NodeManager
可以有多个，主要就是单节点资源的管理。
MapReduce的架构
依赖于磁盘IO的批处理计算模型，只有一个主节点——MRAppMaster，主要负责：
1)接收客户端提交的计算任务
2)把计算任务分给NodeManager中的Container执行，即任务调度
3)监控Task的执行情况
本站文章为和通数据库网友分享或者投稿，欢迎任何形式的转载，但请务必注明出处.
同时文章内容如有侵犯了您的权益，请联系QQ：970679559，我们会在尽快处理。