hadoop菜鸟的学习笔记---Hadoop体系结构,
语言是表达思想最有利的武器!
HDFS和MapReduce是Hadoop体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布式计算和处理任务。HDFS在MapReduce任务处理过程中提供了对文件操作和存储的支持,MapReduce在HDFS基础上实现了任务的分发、跟踪、执行等工作,并收集结果。
HDFS采用了主从Master/Slave结构模型,HDFS集群是由一个NameNode和若干个DataNode组成的,namenode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据,namenode也负责数据块到具体的datanode的映射,datanode也负责处理文件系统客户端的文件读写请求,并在namenode的统一调度下进行数据块的创建、删除和复制等工作。
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。