hive 数据储存,
数据库储存位置
hdfs/Data Load
数据倾斜
map/reduce程序执行时,reduce大部分节点执行完毕,只有几个reduce 节点执行很慢,导致整体处理时间很长,这是因为某一个key的条数比其他key多很多,这条key所在的reduce节点处理的数据量很大,从而导致某几个节点运行速度慢,成为数据倾斜。
hive表
临时表:特殊管理表,仅作用于当前进程
内部表、管理表:只供hive使用,一般创建在默认路径
位置:hffs://192.168.200.10/user/hive/warehouse/tb_neme/a.txt
删除时,将删除mysql的原数据和dfs上的数据
外部表:可供hive和其他程序使用,一般创建在指定location;
删除时,只删除mysql的原数据,不删除dfs上的数据。
再次创建同名表,数据还会恢复。
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。