Hive的优化，

Hive的优化，

该博客已经完全转移到http://sunhs.me

 

中并增加更多新的技术内容（hadoop为

 

主），欢迎访问！

1.列裁剪     查询时我只关心用到的那几个列。     需要设置：hive.optimize.cp = true 2.分区裁剪     查询过程中减少不必要的分区。     需要设置：hive.optimize.pruner = true 3.join     join操作在recude阶段join左边表中的内容会被加载到内存中，将数据少的表放在左边可以减少内存溢出的发生。 4.map join     map join无需reduce操作就可以在map阶段全部完成，前提是在map阶段能够访问到全部需要的数据。 5.group by     map端部分聚合：          需要设置：                   hive.map.aggr = true    设定是否在map端进行聚合  默认为true               hive.groupby.mapaggr.checkinterval =  10000  设定在map端进行聚合操作的条目数     有数据倾斜时进行负载均衡：          需要设置：               hive.groupby.skewindata  = true  生成的查询计划会有两个mapreduce任务，第一个任务中的map输入会随机分到reduce中，对每个reduce做部分聚合，这样处理的结果是：相同的group by key有可能被分发到不同的reduce中，从而达到负载均衡的目的。第二个任务再根据预处理数据结果按照group by key分布到reduce中。 6.合并小文件     合并map和reduce的中间结果文件来提高效率     需要设置：              hive.merge.mapfiles = true              设定是否合并map输出文件  默认是true              hive.merge.mapredfiles = false        设定是否合并reduce输出文件  默认是flase              hive.merge.size.per.task = 256*1000*1000     设定合并文件的大小