欢迎投稿

今日深度:

Hadoop入门之window安装单机版Hadoop,windowhadoop

Hadoop入门之window安装单机版Hadoop,windowhadoop


安装版本及环境:
JDK:1.8.0_121
Hadoop:2.7.1
eclipse :2018

一、准备阶段

所有要用到的软件、jar包和windows执行Hadoop必须的一些文件点此下载

二、开始安装

1、解压hadoop-2.7.1.tar.gz,解压的位置最好和jdk在一个盘且不要在C盘(系统盘),解压过后的目录样式如下:

2、配置系统环境变量
复制hadoop的解压路径,比如我这里是E:\Hadoop\hadoop-2.7.1,打开系统的环境变量配置——>新建HADOOP_HOME

在Path中添加%HADOOP_HOME%\bin

保存即可
3、验证是否配置成功
cmd -> hadoop version

三、MapReduce编程

1、加入必须的文件,解压hadoop2.6(x64)V0.2.zip

将文件夹里的所有文件拷贝到E:\Hadoop\hadoop-2.7.1\bin目录下

然后再将E:\Hadoop\hadoop-2.7.1\bin里面的hadoop.dll文件拷贝到C:\WINDOWS\System32

2、启动eclipse,新建一个Java Project,按下图所示的样子完成创建

然后在项目下面新建一个lib文件,将必须包和文件里的lib文件里的jar包复制到项目包里的lib文件下


然后进行如下操作

3、在src下新建一个包hadoop,将People.java、PeopleRank.java、PeopleRank2.java复制到包里,然后change改一个名字就行了。

4、导入日志文件log4j.propertiesorg
直接将log4j.properties和org文件夹复制到src目录下


ps:如果注释编码有问题,可以更改成UTF-8就好了
5、配置MapReduce的输入和输出




最后点击Run
6、查看计算完成的结果文件

去我们刚才配置输出的文件路径查看


到此我们的安装及一个测试就完成了,如果不能跑成功,可能是因为jdk的版本和hadoop不兼容的原因,或者没有加入那些必须的文件到bin下或者C盘

www.htsjk.Com true http://www.htsjk.com/Hadoop/31121.html NewsArticle Hadoop入门之window安装单机版Hadoop,windowhadoop 安装版本及环境: JDK:1.8.0_121 Hadoop:2.7.1 eclipse :2018 一、准备阶段 所有要用到的软件、jar包和windows执行Hadoop必须的一些文件点此下载 二、...
相关文章
    暂无相关文章
评论暂时关闭