欢迎投稿

今日深度:

HIVE压缩,

HIVE压缩,


1)map

-》开启输出压缩功能:

set hive.exec.compress.intermediate = true;
 -》开始map压缩功能:                              
hive (mongdb)> set mapreduce.map.output.compress;
mapreduce.map.output.compress=false
hive (mongdb)> set mapreduce.map.output.compress = true;

-》开启压缩方式:
hive (mongdb)> set mapreduce.map.output.compress.codec;
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.DefaultCodec
hive (mongdb)> set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
hive (mongdb)> set mapreduce.map.output.compress.codec;
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec

2)开启reduce端的压缩功能

-》开启最终输出压缩功能

set hive.exec.compress.output= true;

-》开启reduce最终数据压缩功能

mapreduce.output.fileoutputformat.compress=true;

-》设置压缩方式

set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

-》设置块压缩:

set mapreduce.output.fileoutputformat.compress.type=BLOCK;

 

 

 

 

 

 

 

www.htsjk.Com true http://www.htsjk.com/hive/37688.html NewsArticle HIVE压缩, 1)map -》开启输出压缩功能: set hive.exec.compress.intermediate = true;  -》开始map压缩功能:                               hive (mongdb) set mapreduce.map.output.compress; mapreduce.map.out...
相关文章
    暂无相关文章
评论暂时关闭