欢迎投稿

今日深度:

Hive导入数据,

Hive导入数据,


场景:需要往一张宽表(100个字段以上的数据表)导入数据

一、新建一个hive表 dim.dim_feiduoduo003
1、储存格式:TextInputFormat
2、行分割符:\n
3、列分隔符:\t

二、做一个200.txt文件,存储于字段格式对应的数据。
不能以空白行结尾,必须以最后一个数据结尾。
上传到hive所在的服务器上任意目录下,

scp 200.txt etl@10.104.112.144:/data/best.fei/testdata/200.txt

三、进入hive命令行模式,

load data local inpath '/data/best.fei/testdata/200.txt' overwrite into table dim.dim_feiduoduo partition (dt='2018-03-17');

如果有报错

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nostrict;
SET hive.exec.max.dynamic.partitions=2048;
SET hive.exec.max.dynamic.partitions.pernode=1024;

www.htsjk.Com true http://www.htsjk.com/hive/41609.html NewsArticle Hive导入数据, 场景:需要往一张宽表(100个字段以上的数据表)导入数据 一、新建一个hive表 dim.dim_feiduoduo003 1、储存格式:TextInputFormat 2、行分割符:\n 3、列分隔符:\t 二、做一个...
相关文章
    暂无相关文章
评论暂时关闭