Hadoop-基础篇-在Windows上安装，hadoop-基础篇

Hadoop-基础篇-在Windows上安装，hadoop-基础篇

下载软件

• hadoop版本：hadoop-2.8.3.tar.gz。官网下载
• winutisl插件（window系统才需要，）：winutils-master.zip。Git下载地址

安装步骤

1. 解压hadoop-2.8.3.tar.gz至C:\hadoop-2.8.3。注意：不要安装在有空格的路径中
2. 设置环境变量：在path添加 ;C:\Program Files\hadoop\2.8.4\bin
3. 解压winutils-master.zip（我是把所有版本的内容都下载了，选择和你版本符合的内容，复制bin文件夹，覆盖到C:\hadoop-2.8.3\bin）
4. 复制C:\hadoop-2.8.3\bin\hadoop.dll到C:\windows\System32下

5. 修改C:\hadoop-2.8.3\etc\hadoop下的5个文件内容，分别如下：

   • core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
    </property>     
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

• hadoop-env.cmd

set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_121

• 1

设置JAVA_HOME，注意不能值不能有空格，原来的JAVA_HOME=C:\Program Files\Java\jdk1.8.0_121，用C:\Progra~1\Java\jdk1.8.0_121替换

• hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop-2.8.3/data/dfs/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/hadoop-2.8.3/data/dfs/datanode</value>
    </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17

不需要手动创建文件夹，程序会自动创建文件

• mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

mapred-site.xml默认是没有，通过mapred-site.xml.template，删除后缀.template得到

• yarn-site.xml

<?xml version="1.0"?>

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

启动服务

• 运行命令：c:\hadoop-2.8.3\bin>hadoop namenode -format
• 进入sbin启动服务：c:\hadoop-2.8.3\sbin>start-all.cmd

访问地址

• http://localhost:8088/
• http://localhost:50070/