HADOOP 集群搭建，

HADOOP 集群搭建，

目录

• 1. 集群简介
• 2. 软件准备
• 3. 网络配置
• 4. 系统设置
• 5. JDK安装
• 6. HADOOP安装
• 7. 启动集群
• 8. 测试试验

1. 集群简介

  HADOOP集群五个节点角色分配如下：

•   mini1   NameNode            SecondNameNode
•   mini2   ResourceManager
•   mini3   DataNode              NodeManager
•   mini4   DataNode              NodeManager
•   mini5   DataNode              NodeManager

2. 软件准备

• vm14；
• centos6.4-64bit；
• jdk8，
• hadoop2.6.4

3. 网络配置

• 网络为 VMnet8
• 子网 IP 为192.168.2.0
• 子网掩码：255.255.255.0
• 网关 IP 为192.168.2.1

4. 系统设置

• 添加hadoop用户 ，useradd 命令；
• 将hadoop用户分配sudoer权限 ，vi /etc/sudoers 命令；
• 同步时间 ，date -s 命令；
• 设置主机名 ， vi /ect/sysconfig/network 命令， 主机名分别为：mini1，mini2...mini5;
• 配置内网域名映射，vi /etc/hosts/ 命令，映射为192.168.2.201-205；
• 配置ssh免密登录，ssh-keygen， ssh-copy-id 命令；
• 配置防火墙，chkconfig iptables off 命令；

   linux 详细命令请查看本人之前总结博文， https://blog.csdn.net/py_tamir/article/details/88384074

5. JDK安装

请查看本人之前总结博文， https://blog.csdn.net/py_tamir/article/details/88384074   中的 “6软件安装”部分

6. HADOOP安装

• 上传hadoop安装包2.6.4
• 安装目录为 /home/hadoop/apps
• 解压安装包
• 修改配置文件

修改配置文件为：

A  :  hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_161

B:  core-site.xml

<configuration>

<!-- 指定hdfs的namenoded地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mini1:9000</value>
</property>

<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/apps/hdpdata/</value>
</property>

</configuration>

C : hdfs-site.xml

<configuration>

<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>mini1:50090</value>
</property>

</configuration>

D:  mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>    

E: yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini2</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

F: salves

mini3
mini4
mini5

软件分发从mini1到mini2-5  

• scp -r apps/ mini2:/home/hadoop/
• scp -r apps/ mini3:/home/hadoop/
• scp -r apps/ mini4:/home/hadoop/
• scp -r apps/ mini5:/home/hadoop/

7. 启动集群

• 在mini1机器上，格式化NameNode,命令 bin/hadoop  namenode -format
• 在mini1机器上，启动hdfs， 命令sbin/start-dfs.sh
• 在mini2机器上，启动yarn，命令sbin/start-yarn.sh

8. 测试试验(查看进程信息)