Hadoop读书笔记(一)Hadoop介绍,
1.Hadoop是什么?
适合大数据的分布式与计算平台。
HDFS:Hadoop Distributed File System 分布式文件系统
MapReduce:并行计算框架
2.HDFS的架构
主从结构 主节点,只有一个:namenode 从节点,有很多个:datanodes namenode负责: 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系,block与datanode之间关系 datanode负责: 存储文件 文件被分成block存储在磁盘上 为保证数据安全,文件会有多个副本3.MapReduce的架构
主从结构
主节点,只有一个:JobTracker 从节点,有很多个:TaskTrackers JobTracker负责: 接收客户提交的计算任务 把任务分给TaskTrackers 监控TaskTracker的执行情况 TaskTrackers负责: 执行JobTrackers分配的计算任务4.Hadoop的特点
扩容能力(Scalable):能可靠的(reliably)存储和处理千兆(PB)数据。 成本低(Economical):可以通过普通机器组成服务器来分发以及处理数据。这些服务器群总计可达数千个节点 高效率(Efficient):通过分发数据,hadoop可以再数据所在的节点上并行(parallel)处理它们,这使得处理的非常的快速。 可靠性(Reliable):hadoop能自动的维护数据的多份副本,并且在任务失败后能自动的重新部署(redeploy)计算任务。欢迎大家一起讨论学习!
有用的自己收!
记录与分享,让你我共成长!欢迎查看我的其他博客;我的博客地址:http://blog.csdn.net/caicongyang
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。