hadoop,
MR执行环境有两种:本地测试环境,服务器环境一、本地测试环境
本地开发好环境是在windows下执行的。通过eclipse可以看到执行信息。二、服务器环境
首先需要在src下放置服务器上的hadoop配置文件
1、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、把MR程序打包(jar),传送到服务器上
b、通过: hadoop jar jar路径 类的全限定名
2、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MR程序打包(jar),直接放到本地
b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
c、增加一个属性:
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
d、将hadoop下图四个配置文件拷贝至项目src目录下
e、本地执行main方法,servlet调用MR。
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。