欢迎投稿

今日深度:

hadoop 初探,

hadoop 初探,


一 部署:实验楼中课程——hadoop 部署及管理足矣,没毛病。
链接:https://www.shiyanlou.com/courses/35
二 试验:上述课程中已包含。
四 启动:

start-all.sh
# 实际上是 start-dfs.sh 和  start-yarn.sh

五 用 python 执行:

cd /usr/local/hadoop
hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.0.jar -D stream.non.zero.exit.is.failure=false -mapper "python mapper.py" -reducer "python reducer.py" -input /input -output /output
# 查看结果 
hadoop dfs -cat /output/*  #会有 util.NativeCodeLoader 警告,不过不影响结果

暂时告一段落。。。

www.htsjk.Com true http://www.htsjk.com/Hadoop/41329.html NewsArticle hadoop 初探, 一 部署:实验楼中课程——hadoop 部署及管理足矣,没毛病。 链接:https://www.shiyanlou.com/courses/35 二 试验:上述课程中已包含。 四 启动: start - all .sh# 实际上是 start -dfs....
相关文章
    暂无相关文章
评论暂时关闭