初识Hadoop,
一、简介 Hadoop是一个世界上优秀的分布式数据处理框架,用户可以在不了解底层的情况下开发分布式处理程序,充分利用集群的威力进行高速运算和存储。 二、Hadoop的特点: 1、扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。 2、成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群 总计可达数千个节点。 3、高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。 4、可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务。 三、Hadoop体系结构 Hadoop包含两个核心部分:HDFS(Hadoop Distributed File System)、MapReduce。HDFS用于分布式文件管理和存储,MapReduce用于分布式计算。 1、HDFS(Hadoop Distributed File System),分布式文件管理和存储,包含一个namenode节点,多个datanode节点,可以有多个secondarynamenode节点,其中 namenode:主节点,只有一个,负责: 管理数据块(block)和datanode之间的关系,管理文件和数据块(block)之间的关系- 管理文件系统的目录结构
- 接收用户操作请求
- 存储文件
- 文件被分成多个block存储在磁盘上
- 为保证数据安全,文件会有多个副本
- 接收客户提交的计算任务
- 把计算任务分给TaskTrackers执行
- 监控TaskTracker的执行情况
- 执行JobTracker分配的计算任务
四、hadoop的部署方式 1、本地部署 2、伪分布部署模式:运行在一个物理机上的进程 3、集群部署模式
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。