欢迎投稿

今日深度:

hadoop笔记,

hadoop笔记,


Mapper 中的map 函数
protected void map(KEYIN key,
                   VALUEIN value,
                   Mapper.Context context)

context.write(k, v) map的输出

这周被公司的集群坑死了,默认的只有1个reduce task,所以程序跑起来的时候总数oom。需要在程序里设置reduce的task个数,设置方法:
conf.set("mapred.reduce.tasks", "10");

www.htsjk.Com true http://www.htsjk.com/Hadoop/41571.html NewsArticle hadoop笔记, Mapper 中的map 函数 protected void map (KEYIN key, VALUEIN value, Mapper.Context context) context.write(k, v) map的输出 这周被公司的集群坑死了,默认的只有1个reduce task,所以程序跑起来的时...
相关文章
    暂无相关文章
评论暂时关闭