欢迎投稿

今日深度:

Hadoop,

Hadoop,


截止 2009-8-19 日,整个 Hadoop 家族由以下几个子项目组成:
成员名 用途
Hadoop Common Hadoop 体系最底层的一个模块,为 Hadoop 各子项目提供各 种工具,如:配置文件和日志操作等。
Avro Avro doug cutting 主持的 RPC 项目,有点类似 Google protobuf Facebook thrift avro 用来做以后 hadoop RPC ,使 hadoop RPC 模块通信速度更快、数据结构更紧凑。
Chukwa Chukwa 是基于 Hadoop 的大集群监控系统,由 yahoo 贡献。
HBase 基于 Hadoop Distributed File System ,是一个开源的,基于列存储模型的分布式数据库。
HDFS 分布式文件系统
Hive hive 类似 CloudBase ,也是基于 hadoop 分布式计算平台上的提供 data warehouse sql 功能的一套软件。使得存储在 hadoop 里面的海量数据 的汇总,即席查询简单化。 hive 提供了一套 QL 的查询语言,以 sql 为基础,使用起来很方便。
MapReduce 实现了 MapReduce 编程框架
Pig Pig SQL-like 语言,是在 MapReduce 上构建的一种高级查询语言,把一些运算编译进 MapReduce 模型的 Map Reduce 中,并且用户可以定义自己的功能。 Yahoo 网格运算部门开发的又一个克隆 Google 的项目 Sawzall
ZooKeeper Zookeeper Google Chubby 一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。 ZooKeeper 的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

www.htsjk.Com true http://www.htsjk.com/Hadoop/37946.html NewsArticle Hadoop, 截止 2009-8-19 日,整个 Hadoop 家族由以下几个子项目组成: 成员名 用途 Hadoop Common Hadoop 体系最底层的一个模块,为 Hadoop 各子项目提供各 种工具,如:配置文件和日志操作等。...
相关文章
    暂无相关文章
评论暂时关闭