Ubuntu18.04配置Hadoop，ubuntu18.04hadoop

Ubuntu18.04配置Hadoop

1. 实验环境

• 64位ubuntu18.04虚拟机（master，slave1，slave2）
• 需要的软件：
  
  • hadoop3.1.0
  • jdk-8u171-linux-x64

2. 实验步骤

master、slave1、slave2都需要配置

• 修改各个节点的主机名，使其与该节点的角色名一致，如 master,slave1,slave2：

  sudo vi /etc/hostname #编辑 
  /etc/hostname 文件从而修改主机名 
  sudo reboot #重启使新主机名生效 

• 修改各个 hosts 文件，在本地植入部分 DNS 映射，将对应的角色名与 IP 匹配起来，然 后尝试用角色名相互 ping，相互能 ping 通证明配置成功

  sudo vi /etc/hosts #编辑 
  /etc/hosts 文件，插入角色与 IP 映射 

  一下为需要添加的（其他的不需要改动，ip应与虚拟机的ip相应）
  

• 配置 SSH 无密码登录 （网上教程比较多不多阐述）
• 安装 JDK（网上教程比较多不多阐述）

• 安装 Hadoop

启动及验证 hadoop:

• 对 hadoop 进行 NameNode 的格式化：

  master进行格式化，slave1和slave2不需要

/usr/local/hadoop/bin/hdfs namenode -format 

• 启动 hdfs 和 yarn，并在各个节点上输入 jps 查看启动的服务：
  master，slave1，slave2都需要启动

/usr/local/hadoop/sbin/start-dfs.sh 
/usr/local/hadoop/sbin/start-yarn.sh 
jps     # 每个节点都查看一次

3. 遇到的问题和解决

• 在外部浏览器输入 master 的 IP 地址和 50070 端口失败

  • 解决：
    在hdfs-site.xml添加一下代码

        <property>
            <name>dfs.http.address</name>
            <value>192.168.127.136:50070</value>
        </property>
    

• 建议
  每个虚拟机的内存2G，不然可能会出现virtual-memory的错误