Hive tuning,
一篇不错的hive调优
shuffle mapreduce参数
join(mapjoin bucketjoin)
orc文件格式使用,可以跳过某些数据
io.sort.mb 环形缓冲区
mapper reducer个数
skew数据倾斜
hdfs复制因子和tez缓存的使用
distribute by sort by 和cluster by
dfs-client
https://www.slideshare.net/ye.mikez/hive-tuning
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。