欢迎投稿

今日深度:

Hadoop读书笔记(一)Hadoop介绍,

Hadoop读书笔记(一)Hadoop介绍,


1.Hadoop是什么?

适合大数据的分布式与计算平台。
HDFS:Hadoop Distributed File System 分布式文件系统
 MapReduce:并行计算框架

2.HDFS的架构

    主从结构     主节点,只有一个:namenode         从节点,有很多个:datanodes namenode负责: 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系,block与datanode之间关系
  datanode负责: 存储文件 文件被分成block存储在磁盘上 为保证数据安全,文件会有多个副本

3.MapReduce的架构

主从结构

主节点,只有一个:JobTracker 从节点,有很多个:TaskTrackers JobTracker负责: 接收客户提交的计算任务 把任务分给TaskTrackers 监控TaskTracker的执行情况 TaskTrackers负责: 执行JobTrackers分配的计算任务

4.Hadoop的特点

扩容能力(Scalable):能可靠的(reliably)存储和处理千兆(PB)数据。 成本低(Economical):可以通过普通机器组成服务器来分发以及处理数据。这些服务器群总计可达数千个节点 高效率(Efficient):通过分发数据,hadoop可以再数据所在的节点上并行(parallel)处理它们,这使得处理的非常的快速。 可靠性(Reliable):hadoop能自动的维护数据的多份副本,并且在任务失败后能自动的重新部署(redeploy)计算任务。

欢迎大家一起讨论学习!

有用的自己收!

记录与分享,让你我共成长!欢迎查看我的其他博客;我的博客地址:http://blog.csdn.net/caicongyang


  

www.htsjk.Com true http://www.htsjk.com/Hadoop/40172.html NewsArticle Hadoop读书笔记(一)Hadoop介绍, 1.Hadoop是什么? 适合大数据的分布式与计算平台。 HDFS:Hadoop Distributed File System 分布式文件系统  MapReduce:并行计算框架 2.HDFS的架构     主从结构     主...
相关文章
    暂无相关文章
评论暂时关闭