(2)Hadoop,
Hive:可以写SQL语句,充当数据仓库作用,完成批量数据处理。
Pig:针对流式数据,轻量级脚本语言。
Tez:将整个MapReduce作业构建成一个有向无环图,实现作业的优化。
ZooKeeper:分布式协调一致性。分布式锁一致性,集群管理等等。
FLume:针对流式数据的收集工作,日志收集工具。
Spark类似于MapReduce,但是Spark是基于内存计算的。
Sqoop:将传统的关系型数据库的数据导入/导出到Hadoop(HDFS,Hbase,Hive中)。
HBase: 非关系型分布式数据库,架构在HDFS之上。用来存储非结构化和半结构化的松散数据。HDFS顺序读写,Hbase支持随机读写以及实时应用。
MapReduce:Data Processing
Yarn:集群的资源管理,cluster resource management
SecondaryNameNode在小型集群中可以和NameNode共用一台机器,较大的群集可以采用与NameNode相同的硬件。(不同的机器)
对于一个小的集群,名称节点(NameNode)和JobTracker运行在单个节点上,通常是可以接受的。但是,随着集群和存储在HDFS中的文件数量的增加,名称节点需要更多的主存,这时,名称节点和JobTracker就需要运行在不同的节点上。
安装:
1.一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。
2.我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop (与系统用户名相对应),因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input。标注:这里两个hadoop对应的。