Hive导入数据,
场景:需要往一张宽表(100个字段以上的数据表)导入数据
一、新建一个hive表 dim.dim_feiduoduo003
1、储存格式:TextInputFormat
2、行分割符:\n
3、列分隔符:\t
二、做一个200.txt文件,存储于字段格式对应的数据。
不能以空白行结尾,必须以最后一个数据结尾。
上传到hive所在的服务器上任意目录下,
scp 200.txt etl@10.104.112.144:/data/best.fei/testdata/200.txt
三、进入hive命令行模式,
load data local inpath '/data/best.fei/testdata/200.txt' overwrite into table dim.dim_feiduoduo partition (dt='2018-03-17');
如果有报错
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;
SET hive.exec.max.dynamic.partitions=2048;
SET hive.exec.max.dynamic.partitions.pernode=1024;
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。