欢迎投稿

今日深度:

Hadoop2.7.6在Windows7单机部署,

Hadoop2.7.6在Windows7单机部署,


安装参考:Hadoop2.7.4 在 Windows 10(64位) 详细配置安装参考:Windows7-8-10安装部署hadoop-2.7.5
1 配置jdk1.8 不要安装在空格的目录中,你会发现hadoop和spark不支持有空格的目录配置
2下载hadoop-2.7.63下载hadoop2.7.6-windows-64-bit-binaries 后面用到。也可以自己下载Hadoop 2.7.6 Windows 64位 自己编译bin。4 安装hadoop,解压D:\Soft\hadoop-2.7.6
 5 配置hadoop环境变量    HADOOP_HOME:D:\Soft\hadoop-2.7.6 path :%HADOOP_HOME%\bin;  追加在Path的最后
 6修改D:\Soft\hadoop-2.7.6目录权限
 7 检查hadoop环境 hadoop version
8 配置hadoop的配置文件 (namenode,datanode运行读取)   配置文件目录:D:\Soft\hadoop-2.7.6\etc\hadoop1) core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>/D:/Soft/hadoop-2.7.6/workplace/tmp</value><description>namenode上本地的hadoop临时文件夹</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value><description>HDFS的URI,文件系统://namenode标识:端口号</description></property></configuration>
2)hdfs-site.xml<configuration><!-- 这个参数设置为1,因为是单机版hadoop --><property><name>dfs.replication</name><value>1</value><description>副本个数,配置默认是3,应小于datanode机器数量</description></property><property><name>dfs.data.dir</name><value>/D:/Soft/hadoop-2.7.6/workplace/data</value><description>datanode上数据块的物理存储位置</description></property><property><name>dfs.name.dir</name><value>/D:/Soft/hadoop-2.7.6/workplace/name</value><description>namenode上存储hdfs名字空间元数据 </description></property></configuration>3)mapred-site.xml  没有就将mapred-site.xml.template重命名为mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property></configuration>4)yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>
9 配置hadoop-env.cmd    D:\Soft\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd设置jdk的路径,不然会报错jdk路径找不到@rem set JAVA_HOME=%JAVA_HOME%@rem 防止java环境变量名称不统一直接写路径set JAVA_HOME=D:\Soft\java\jdk1.8.0_151
10 替换bin目录文件D:\Soft\hadoop-2.7.6\bin将 hadoop2.7.6-windows-64-bit-binaries 中bin目录文件直接替换
11  运行cmd窗口,执行“hdfs namenode -format”
 12 启动hadoop ,切换到hadoop的sbin目录,执行“start-all.cmd” 启动4个进程
 hadoop环境搭建完毕
13 web控制台资源管理GUI   http://localhost:8088/
 14 web控制台节点管理GUI   http://localhost:50070/
 

www.htsjk.Com true http://www.htsjk.com/Hadoop/33262.html NewsArticle Hadoop2.7.6在Windows7单机部署, 安装参考:Hadoop2.7.4 在 Windows 10(64位) 详细配置安装参考:Windows7-8-10安装部署hadoop-2.7.5 1 配置jdk1.8  不要安装在空格的目录中,你会发现hadoop和spark不支持有空...
相关文章
    暂无相关文章
评论暂时关闭