Windows下hadoop配置,Windowshadoop配置
第一步:安装JDK,点击一下链接下载JDK,并安装。
http://www.oracle.com/technetwork/java/javase/downloads/index.html
在安装过程中,第一小步安装jdk,第二小步是安装jre。建议两个都安装在同一个java文件夹中的不同文件夹中。(不能都安装在java文件夹的根目录下,jdk和jre安装在同一文件夹会出错)
第二步:配置环境变量,找到 计算机→属性→高级系统设置→高级→环境变量
系统变量→新建 JAVA_HOME 变量 。
变量值填写jdk的安装目录(本人是 C:\PROGRA~1\Java\jdk1.8.0_171)
系统变量→寻找 Path 变量→编辑在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
(注意原来Path的变量值末尾有没有;号,如果没有,先输入;号再输入上面的代码)
系统变量→新建 CLASSPATH 变量
变量值填写 .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意最前面有一点)
系统变量配置完毕
检验是否配置成功 运行cmd 输入 java -version (java 和 -version 之间有空格)
若如图所示 显示版本信息 则说明安装和配置成功。
注意,在这个地方有一个Java的环境变量配置中不能出现空格,否则hadoop配置不会成功,跑不起来。我这里JDK安装的目录就有空格,如下图,本来是C盘program files下Java文件夹,在JAVA_HOME配置那个地方直接用PROGRA~1代替program files
第三步:下载hadoop并安装
hadoop安装步骤可以参考https://blog.csdn.net/xrui_java7/article/details/70231221
或者https://www.cnblogs.com/wuxun1997/p/6847950.html 这两篇就OK啦,很简单的。
需要注意的是 在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml 文件时注意要根据自己的hadoop安装路径做相应的调整,改成自己的安装路径
其他就没什么了,配好之后cmd打开控制台,运行
hadoop namenode -format可以看到如下图的效果就配好了。
第四步 安装Spark
点击链接可下载Spark:http://spark.apache.org/downloads.html,可根据自己安装的hadoop版本在箭头位置选择自己对应的版本。
下载完之后直接,解压安装就可以了,很简单的。
然后cmd 在DOS下输入:
spark-shell酱紫就安装成功了。