hadoop笔记,
Mapper 中的map 函数
protected void map(KEYIN key,
VALUEIN value,
Mapper.Context context)
context.write(k, v) map的输出
这周被公司的集群坑死了,默认的只有1个reduce task,所以程序跑起来的时候总数oom。需要在程序里设置reduce的task个数,设置方法:
conf.set("mapred.reduce.tasks", "10");
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。