欢迎投稿

今日深度:

(2)Hadoop,

(2)Hadoop,


Hive:可以写SQL语句,充当数据仓库作用,完成批量数据处理。

Pig:针对流式数据,轻量级脚本语言。

Tez:将整个MapReduce作业构建成一个有向无环图,实现作业的优化。

ZooKeeper:分布式协调一致性。分布式锁一致性,集群管理等等。

FLume:针对流式数据的收集工作,日志收集工具。

Spark类似于MapReduce,但是Spark是基于内存计算的。

Sqoop:将传统的关系型数据库的数据导入/导出到Hadoop(HDFS,Hbase,Hive中)。

HBase: 非关系型分布式数据库,架构在HDFS之上。用来存储非结构化和半结构化的松散数据。HDFS顺序读写,Hbase支持随机读写以及实时应用。

MapReduce:Data Processing

Yarn:集群的资源管理,cluster resource management

SecondaryNameNode在小型集群中可以和NameNode共用一台机器,较大的群集可以采用与NameNode相同的硬件。(不同的机器)

对于一个小的集群,名称节点(NameNode)和JobTracker运行在单个节点上,通常是可以接受的。但是,随着集群和存储在HDFS中的文件数量的增加,名称节点需要更多的主存,这时,名称节点和JobTracker就需要运行在不同的节点上。

 

安装:

1.一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。

2.我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop (与系统用户名相对应),因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input。标注:这里两个hadoop对应的。

www.htsjk.Com true http://www.htsjk.com/Hadoop/41597.html NewsArticle (2)Hadoop, Hive:可以写SQL语句,充当数据仓库作用,完成批量数据处理。 Pig:针对流式数据,轻量级脚本语言。 Tez:将整个MapReduce作业构建成一个有向无环图,实现作业的优化。 ZooKeepe...
相关文章
    暂无相关文章
评论暂时关闭