欢迎投稿

今日深度:

hadoop在windows平台下的本地模式配置,hadoop平台

hadoop在windows平台下的本地模式配置,hadoop平台


在运行mapreduce程序时,如果频繁在集群上操作,或者写完代码打成jar包丢到集群上运行,势必影响开发效率,太慢。不便于代码调试,如果可以在windows端使用eclipse开发调试mapreduce程序便会方便很多。本文讲介绍如何在window平台开启本地模式进行开发。

第一步,首先下载一个hadoop源码包。我使用的是hadoop2.6.1, 编译完成后bin里面会有.cmd  .exe后缀的文件

第二步,将其解压到任何一个目录

第三步,配置HADOOP_HOME环境变量

第四步,在etc\hadoop\hadoop-env.cmd中配置本地Java环境变量,最好使用绝对路径

第五步,重启windows

第六步,添加hadoop mr开发依赖的jar包,我添加的是common下的主包和lib子文件夹,hdfs下的主包和lib子文件夹,httpfs\tomcat下的lib子文件夹,mapreduce下的除*example*包之外的jar包和lib子文件夹,yarn下的除*server*之外的jar包和lib子文件夹

第七步,编写mr程序

第八步,直接run as。。在本地模式下调试mr程序。

www.htsjk.Com true http://www.htsjk.com/Hadoop/30145.html NewsArticle hadoop在windows平台下的本地模式配置,hadoop平台 在运行mapreduce程序时,如果频繁在集群上操作,或者写完代码打成jar包丢到集群上运行,势必影响开发效率,太慢。不便于代码调试,如...
相关文章
    暂无相关文章
评论暂时关闭