Hadoop学习笔记（1）——Hadoop 集群搭建，

1 Hadoop介绍

2 集群搭建

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

• HDFS集群:负责海量数据的存储，集群中的角色主要有 NameNode / DataNode
• YARN集群:负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager;
• mapreduce:一个应用程序开发包

2.1 添加hadoop用户

同时操作4个节点。

2.2 为hadoop 用户添加sudo 权限

vim /etc/sudoers

2.3 配置xml文件

将hadoop-2.7.6.tar.gz上传到 apps文件夹
解压 tar -zxvf hadoop-2.7.6.tar.gz





配置 vim core-site.xml
core-site.xml 配置参数

配置 hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

配置 mapred-site.xml.template

<configuration>
<property>
<name>mapreduece.framework.name</name>
<value>yarn</value>
</property>
</configuration>

重命名 mv mapred-site.xml.template mapred-site.xml

配置 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

分发到所有机器

2.4 配置hadoop环境变量

sudo vim /etc/profile

重新加载profile使配置生效
source /etc/profile
将环境变量配置文件拷贝到其他的节点
sudo scp /etc/profile node2:/etc/

2.5 格式化 node

2.6 启动namenode

namenode 配置到了 node1
cd apps/hadoop-2.7.6/sbin

http://192.168.154.131:50070/dfshealth.html#tab-overview

2.7 启动datanode

在机器node2.node3,node4 启动 datanode

http://192.168.154.131:50070/dfshealth.html#tab-overview

停止节点
hadoop-daemon.sh stop datanode

2.8 一键启动

/home/hadoop/apps/hadoop-2.7.6/etc/hadoop

vim slaves