【hive】hive估算reduce,
hive估算reduce的逻辑如下:
(1) 判断Job是否需要reduce操作,如不需要reduce操作,reduce数设置为0,跳出;如需要reduce操作,执行步骤(2);
(2) 判断Job是否在编译时确定reduce数为1,如编译确定为1,reduce数设置为1,跳出;如需要reduce操作,执行步骤(3);
(3) 判断Job是否手动设置reduce数,如果手动设置reduce数,reduce数设置为此值,跳出;如未手动设置,执行步骤(4);
(4) 根据map输入文件大小(map_input_bytes)估算reduce数,默认为输入文件的1G估算为1个reduce,根据估算的reduce设置设置此Job的reduce。
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。