欢迎投稿

今日深度:

Windows下hadoop配置,Windowshadoop配置

Windows下hadoop配置,Windowshadoop配置


第一步:安装JDK,点击一下链接下载JDK,并安装。

http://www.oracle.com/technetwork/java/javase/downloads/index.html

在安装过程中,第一小步安装jdk,第二小步是安装jre。建议两个都安装在同一个java文件夹中的不同文件夹中。(不能都安装在java文件夹的根目录下,jdk和jre安装在同一文件夹会出错)


第二步:配置环境变量,找到 计算机→属性→高级系统设置→高级→环境变量


系统变量→新建 JAVA_HOME 变量 。

变量值填写jdk的安装目录(本人是 C:\PROGRA~1\Java\jdk1.8.0_171)

系统变量→寻找 Path 变量→编辑
在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

(注意原来Path的变量值末尾有没有;号,如果没有,先输入;号再输入上面的代码)


系统变量→新建 CLASSPATH 变量
变量值填写   .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(注意最前面有一点)
系统变量配置完毕

检验是否配置成功 运行cmd 输入 java -version (java 和 -version 之间有空格)

若如图所示 显示版本信息 则说明安装和配置成功。


注意,在这个地方有一个Java的环境变量配置中不能出现空格,否则hadoop配置不会成功,跑不起来。我这里JDK安装的目录就有空格,如下图,本来是C盘program files下Java文件夹,在JAVA_HOME配置那个地方直接用PROGRA~1代替program files

第三步:下载hadoop并安装

hadoop安装步骤可以参考https://blog.csdn.net/xrui_java7/article/details/70231221

或者https://www.cnblogs.com/wuxun1997/p/6847950.html 这两篇就OK啦,很简单的。

需要注意的是 在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml 文件时注意要根据自己的hadoop安装路径做相应的调整,改成自己的安装路径


其他就没什么了,配好之后cmd打开控制台,运行

hadoop namenode -format

可以看到如下图的效果就配好了。


第四步 安装Spark

点击链接可下载Spark:http://spark.apache.org/downloads.html,可根据自己安装的hadoop版本在箭头位置选择自己对应的版本。


下载完之后直接,解压安装就可以了,很简单的。

然后cmd 在DOS下输入:

spark-shell

酱紫就安装成功了。

但这个时候每次运行spark-shell(spark的命令行交互窗口)的时候,都需要先cd到Spark的安装目录下,比较麻烦,因此可以将Spark的bin目录添加到系统变量PATH中。例如我这里的Spark的bin目录路径为D:\spark-2.3.0-bin-hadoop2.7\bin,那么就把这个路径名添加到系统变量的PATH中即可,方法和JDK安装过程中的环境变量设置一致,设置完系统变量后,在任意目录下的cmd命令行中,直接执行spark-shell命令,即可开启Spark的交互式命令行模式。






www.htsjk.Com true http://www.htsjk.com/Hadoop/28247.html NewsArticle Windows下hadoop配置,Windowshadoop配置 第一步:安装JDK,点击一下链接下载JDK,并安装。 http://www.oracle.com/technetwork/java/javase/downloads/index.html 在安装过程中,第一小步安装jdk,第二小步是安...
相关文章
    暂无相关文章
评论暂时关闭