欢迎投稿

今日深度:

修改hive默认格式,一、修改hive默认

修改hive默认格式,一、修改hive默认


文章目录

  • 前言
  • 一、修改hive默认格式方法
  • 二、测试是否生效
  • 总结


前言

设置hive默认格式,作用,统一数据格式。


一、修改hive默认格式方法

设置默认格式为rcfile

hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;

二、测试是否生效

思路: 修改格式前后建表,检查表的格式

hive (default)> create table t1(id int);
OK
Time taken: 1.255 seconds

2.查看表格式:

hive (default)> show create table t1;
OK
createtab_stmt
CREATE TABLE `t1`(
  `id` int)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://ns/user/hive/warehouse/t1'
TBLPROPERTIES (
  'transient_lastDdlTime'='1649216404')
Time taken: 0.128 seconds, Fetched: 12 row(s)

3.设置默认格式:

hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;

4.建t2表测试,是否生效:

hive (default)> create table t2(id int);
OK
Time taken: 0.161 seconds
hive (default)> show create table t2;
OK
  1. 查看t2表格式:
createtab_stmt
CREATE TABLE `t2`(
  `id` int)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
  'hdfs://ns/user/hive/warehouse/t2'
TBLPROPERTIES (
  'transient_lastDdlTime'='1649216435')
Time taken: 0.024 seconds, Fetched: 12 row(s)

总结

hive (default)> set hive.default.fileformat.managed=rcfile;
hive (default)> set hive.default.fileformat=rcfile;
通过设置这两个参数使得默认格式变更

www.htsjk.Com true http://www.htsjk.com/hive/45873.html NewsArticle 修改hive默认格式,一、修改hive默认 文章目录 前言 一、修改hive默认格式方法 二、测试是否生效 总结 前言 设置hive默认格式作用统一数据格式。 一、修改hive默认格式方法 设置默认格...
评论暂时关闭