Hadoop2.7.6在Windows7单机部署,
安装参考:Hadoop2.7.4 在 Windows 10(64位) 详细配置安装参考:Windows7-8-10安装部署hadoop-2.7.51 配置jdk1.8 不要安装在空格的目录中,你会发现hadoop和spark不支持有空格的目录配置
2下载hadoop-2.7.63下载hadoop2.7.6-windows-64-bit-binaries 后面用到。也可以自己下载Hadoop 2.7.6 Windows 64位 自己编译bin。4 安装hadoop,解压D:\Soft\hadoop-2.7.6
5 配置hadoop环境变量 HADOOP_HOME:D:\Soft\hadoop-2.7.6 path :%HADOOP_HOME%\bin; 追加在Path的最后
6修改D:\Soft\hadoop-2.7.6目录权限
7 检查hadoop环境 hadoop version
8 配置hadoop的配置文件 (namenode,datanode运行读取) 配置文件目录:D:\Soft\hadoop-2.7.6\etc\hadoop1) core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>/D:/Soft/hadoop-2.7.6/workplace/tmp</value><description>namenode上本地的hadoop临时文件夹</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value><description>HDFS的URI,文件系统://namenode标识:端口号</description></property></configuration>
2)hdfs-site.xml<configuration><!-- 这个参数设置为1,因为是单机版hadoop --><property><name>dfs.replication</name><value>1</value><description>副本个数,配置默认是3,应小于datanode机器数量</description></property><property><name>dfs.data.dir</name><value>/D:/Soft/hadoop-2.7.6/workplace/data</value><description>datanode上数据块的物理存储位置</description></property><property><name>dfs.name.dir</name><value>/D:/Soft/hadoop-2.7.6/workplace/name</value><description>namenode上存储hdfs名字空间元数据 </description></property></configuration>3)mapred-site.xml 没有就将mapred-site.xml.template重命名为mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property></configuration>4)yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>
9 配置hadoop-env.cmd D:\Soft\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd设置jdk的路径,不然会报错jdk路径找不到@rem set JAVA_HOME=%JAVA_HOME%@rem 防止java环境变量名称不统一直接写路径set JAVA_HOME=D:\Soft\java\jdk1.8.0_151
10 替换bin目录文件D:\Soft\hadoop-2.7.6\bin将 hadoop2.7.6-windows-64-bit-binaries 中bin目录文件直接替换
11 运行cmd窗口,执行“hdfs namenode -format”
12 启动hadoop ,切换到hadoop的sbin目录,执行“start-all.cmd” 启动4个进程
hadoop环境搭建完毕
13 web控制台资源管理GUI http://localhost:8088/
14 web控制台节点管理GUI http://localhost:50070/
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。