hive count distinct，hivedistinct

hive count distinct，hivedistinct

select count(distinct user_id) from dm_user where ds=20150701;

使用disticnt函数，所有的数据只会shuffle到一个reducer上，导致reducer数据倾斜严重

优化后为

set mapred.reduce.tasks=50;

select count(*) from

(select user_id from dm_user where ds=20150701 group by user_id)t;

order by全局排序，只有一个reduce

sort by 在一个reduce中排序，distribute by 按字段分为不同的reduce    

distribute by 先分为不同的reduce排序，之后在reduce内部排序

版权声明：本文为博主原创文章，未经博主允许不得转载。