Hadoop,
截止 2009-8-19 日,整个 Hadoop 家族由以下几个子项目组成:| 成员名 | 用途 |
| Hadoop Common | Hadoop 体系最底层的一个模块,为 Hadoop 各子项目提供各 种工具,如:配置文件和日志操作等。 |
| Avro | Avro 是 doug cutting 主持的 RPC 项目,有点类似 Google 的 protobuf 和 Facebook 的 thrift 。 avro 用来做以后 hadoop 的 RPC ,使 hadoop 的 RPC 模块通信速度更快、数据结构更紧凑。 |
| Chukwa | Chukwa 是基于 Hadoop 的大集群监控系统,由 yahoo 贡献。 |
| HBase | 基于 Hadoop Distributed File System ,是一个开源的,基于列存储模型的分布式数据库。 |
| HDFS | 分布式文件系统 |
| Hive | hive 类似 CloudBase ,也是基于 hadoop 分布式计算平台上的提供 data warehouse 的 sql 功能的一套软件。使得存储在 hadoop 里面的海量数据 的汇总,即席查询简单化。 hive 提供了一套 QL 的查询语言,以 sql 为基础,使用起来很方便。 |
| MapReduce | 实现了 MapReduce 编程框架 |
| Pig | Pig 是 SQL-like 语言,是在 MapReduce 上构建的一种高级查询语言,把一些运算编译进 MapReduce 模型的 Map 和 Reduce 中,并且用户可以定义自己的功能。 Yahoo 网格运算部门开发的又一个克隆 Google 的项目 Sawzall 。 |
| ZooKeeper | Zookeeper 是 Google 的 Chubby 一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。 ZooKeeper 的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 |
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。