欢迎投稿

今日深度:

hive 数据储存,

hive 数据储存,


数据库储存位置

hdfs/Data Load

数据倾斜

map/reduce程序执行时,reduce大部分节点执行完毕,只有几个reduce 节点执行很慢,导致整体处理时间很长,这是因为某一个key的条数比其他key多很多,这条key所在的reduce节点处理的数据量很大,从而导致某几个节点运行速度慢,成为数据倾斜。

 

hive表

临时表:特殊管理表,仅作用于当前进程

内部表、管理表:只供hive使用,一般创建在默认路径

位置:hffs://192.168.200.10/user/hive/warehouse/tb_neme/a.txt

删除时,将删除mysql的原数据和dfs上的数据

外部表:可供hive和其他程序使用,一般创建在指定location;

删除时,只删除mysql的原数据,不删除dfs上的数据。

再次创建同名表,数据还会恢复。

 

www.htsjk.Com true http://www.htsjk.com/hive/41612.html NewsArticle hive 数据储存, 数据库储存位置 hdfs/Data Load 数据倾斜 map/reduce程序执行时,reduce大部分节点执行完毕,只有几个reduce 节点执行很慢,导致整体处理时间很长,这是因为某一个key的条数比...
相关文章
    暂无相关文章
评论暂时关闭