修改hive默认格式,一、修改hive默认
文章目录
- 前言
- 一、修改hive默认格式方法
- 二、测试是否生效
- 总结
前言
设置hive默认格式,作用,统一数据格式。
一、修改hive默认格式方法
设置默认格式为rcfile
hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;
二、测试是否生效
思路: 修改格式前后建表,检查表的格式
hive (default)> create table t1(id int);
OK
Time taken: 1.255 seconds
2.查看表格式:
hive (default)> show create table t1;
OK
createtab_stmt
CREATE TABLE `t1`(
`id` int)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'hdfs://ns/user/hive/warehouse/t1'
TBLPROPERTIES (
'transient_lastDdlTime'='1649216404')
Time taken: 0.128 seconds, Fetched: 12 row(s)
3.设置默认格式:
hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;
4.建t2表测试,是否生效:
hive (default)> create table t2(id int);
OK
Time taken: 0.161 seconds
hive (default)> show create table t2;
OK
- 查看t2表格式:
createtab_stmt
CREATE TABLE `t2`(
`id` int)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.RCFileInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
'hdfs://ns/user/hive/warehouse/t2'
TBLPROPERTIES (
'transient_lastDdlTime'='1649216435')
Time taken: 0.024 seconds, Fetched: 12 row(s)
总结
hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;
通过设置这两个参数使得默认格式变更
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。