欢迎投稿

今日深度:

《Hadoop生态系统:Hadoop学习框架》,

《Hadoop生态系统:Hadoop学习框架》,


关键技术

HDFS 完全集成,高 大容量、容错性、可存储非常大的数据集的廉价存储
MapReduce 完全集成,高 一种处理大数据的编程范式
YARN 完全集成,中 数据处理
Spark 完全集成,高 数据处理/存储

数据库及数据管理

Cassandra API兼容,高 键值存储
HBase 完全集成,高 列族数据库
Accumulo 完全集成,高 基于cell-level安全的名-值数据库
Memcached 不集成,中 在内存上缓存
Blur 完全集成,中 文档仓库
Solr API兼容,高 文档仓库
MongoDB API兼容,高 JSON面向文档型数据库
Hive 完全集成,高 数据交互
Spark SQL API兼容,高 SQL访问Hadoop上的数据
Graph 完全集成,高 图表数据库

序列化

Avro API兼容,中 数据序列化
JSON 不集成,中 数据描述和传递
Protocol Buffers API集成,中 数据序列化
Parquet API集成,中 文件格式

管理与监控

Ambari 完全集成,高 配置、监视和管理Hadoop集群
HCatalog 完全集成,高 数据抽象层
Nagios 不集成,高 IT基础设施监控
Puppet API兼容,高 节点管理
Chef API兼容,高 节点管理
ZooKeeper API兼容,中 协调
Oozie 完全集成,高 一个管理复杂的Hadoop多部件工作的工作流调度
Ganglia API兼容,中 监视

分析与辅助

Pig 完全集成,高 处理数据的高级别数据流语言
Hadoop Streaming 完全集成,中 使用Java外的其他语言来编写MapReduce代码
Mahout API兼容,高 机器学习和数据分析
MLLib 完全集成,高 Spark的机器学习工具
Hadoop图像处理接口(HIPI) API兼容,中 图像处理
SpatialHadoop API兼容,高 空间分析

数据传输

Sqoop 完全集成,高 在HDFS与关系数据库之间传递数据
Flume 完全集成,中 数据收集和聚合,尤其针对日志数据
DistCp 完全集成,低 在Hadoop集群之间移动数据
Storm API兼容,高 流摄取

安全、访问控制和审计

Sentry API兼容,高 为Hadoop提供一个基础级授权
Kerberos API兼容,高 安全认证
Knox 完全集成,中 安全网关

云计算和虚拟化

Serengeti 未集成,中 Hadoop虚拟化
Docker 未集成,高 运行应用程序的容器,也包括Hadoop节点
Whirr API兼容,低 配置集群

www.htsjk.Com true http://www.htsjk.com/Hadoop/40050.html NewsArticle 《Hadoop生态系统:Hadoop学习框架》, 关键技术 HDFS 完全集成,高 大容量、容错性、可存储非常大的数据集的廉价存储 MapReduce 完全集成,高 一种处理大数据的编程范式 YARN 完全集成,...
相关文章
    暂无相关文章
评论暂时关闭