《Hadoop生态系统:Hadoop学习框架》,
关键技术
| HDFS |
完全集成,高 |
大容量、容错性、可存储非常大的数据集的廉价存储 |
| MapReduce |
完全集成,高 |
一种处理大数据的编程范式 |
| YARN |
完全集成,中 |
数据处理 |
| Spark |
完全集成,高 |
数据处理/存储 |
数据库及数据管理
| Cassandra |
API兼容,高 |
键值存储 |
| HBase |
完全集成,高 |
列族数据库 |
| Accumulo |
完全集成,高 |
基于cell-level安全的名-值数据库 |
| Memcached |
不集成,中 |
在内存上缓存 |
| Blur |
完全集成,中 |
文档仓库 |
| Solr |
API兼容,高 |
文档仓库 |
| MongoDB |
API兼容,高 |
JSON面向文档型数据库 |
| Hive |
完全集成,高 |
数据交互 |
| Spark SQL |
API兼容,高 |
SQL访问Hadoop上的数据 |
| Graph |
完全集成,高 |
图表数据库 |
序列化
| Avro |
API兼容,中 |
数据序列化 |
| JSON |
不集成,中 |
数据描述和传递 |
| Protocol Buffers |
API集成,中 |
数据序列化 |
| Parquet |
API集成,中 |
文件格式 |
管理与监控
| Ambari |
完全集成,高 |
配置、监视和管理Hadoop集群 |
| HCatalog |
完全集成,高 |
数据抽象层 |
| Nagios |
不集成,高 |
IT基础设施监控 |
| Puppet |
API兼容,高 |
节点管理 |
| Chef |
API兼容,高 |
节点管理 |
| ZooKeeper |
API兼容,中 |
协调 |
| Oozie |
完全集成,高 |
一个管理复杂的Hadoop多部件工作的工作流调度 |
| Ganglia |
API兼容,中 |
监视 |
分析与辅助
| Pig |
完全集成,高 |
处理数据的高级别数据流语言 |
| Hadoop Streaming |
完全集成,中 |
使用Java外的其他语言来编写MapReduce代码 |
| Mahout |
API兼容,高 |
机器学习和数据分析 |
| MLLib |
完全集成,高 |
Spark的机器学习工具 |
| Hadoop图像处理接口(HIPI) |
API兼容,中 |
图像处理 |
| SpatialHadoop |
API兼容,高 |
空间分析 |
数据传输
| Sqoop |
完全集成,高 |
在HDFS与关系数据库之间传递数据 |
| Flume |
完全集成,中 |
数据收集和聚合,尤其针对日志数据 |
| DistCp |
完全集成,低 |
在Hadoop集群之间移动数据 |
| Storm |
API兼容,高 |
流摄取 |
安全、访问控制和审计
| Sentry |
API兼容,高 |
为Hadoop提供一个基础级授权 |
| Kerberos |
API兼容,高 |
安全认证 |
| Knox |
完全集成,中 |
安全网关 |
云计算和虚拟化
| Serengeti |
未集成,中 |
Hadoop虚拟化 |
| Docker |
未集成,高 |
运行应用程序的容器,也包括Hadoop节点 |
| Whirr |
API兼容,低 |
配置集群 |
http://www.htsjk.com/Hadoop/40050.html
www.htsjk.Com
true
http://www.htsjk.com/Hadoop/40050.html
NewsArticle
《Hadoop生态系统:Hadoop学习框架》, 关键技术 HDFS 完全集成,高 大容量、容错性、可存储非常大的数据集的廉价存储 MapReduce 完全集成,高 一种处理大数据的编程范式 YARN 完全集成,...
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。