欢迎投稿

今日深度:

hadoop,

hadoop,


MR执行环境有两种:本地测试环境,服务器环境

一、本地测试环境

        本地开发好环境是在windows下执行的。通过eclipse可以看到执行信息。

二、服务器环境

        首先需要在src下放置服务器上的hadoop配置文件

        1、直接在服务器上,使用命令的方式调用,执行过程也在服务器上

                a、把MR程序打包(jar),传送到服务器上

                b、通过: hadoop jar jar路径  类的全限定名

        2、在本地直接调用,执行过程在服务器上(真正企业运行环境)

                a、把MR程序打包(jar),直接放到本地

                b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib

                c、增加一个属性:

                        config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");

                d、将hadoop下图四个配置文件拷贝至项目src目录下

                       

                e、本地执行main方法,servlet调用MR。

www.htsjk.Com true http://www.htsjk.com/Hadoop/37078.html NewsArticle hadoop, MR执行环境有两种:本地测试环境,服务器环境 一、本地测试环境         本地开发好环境是在windows下执行的。通过eclipse可以看到执行信息。 二、服务器环境         首...
相关文章
    暂无相关文章
评论暂时关闭