欢迎投稿

今日深度:

hive体系结构和hive作业形式,

hive体系结构和hive作业形式,


hive作业的规模决定着优化层级,一个hive作业优化和一万个是肯定不同的

企业一般是从架构层面,hivesql语法层面,hive参数层面进行优化

hive作业形式:

a,hiveServer(hive --service hiveserver),jdbc访问,1个客户端连接数,需要建pool池,内存损耗很大,容易内存溢出。

java

jdbc访问


b,shell脚本封装,hive cli访问,高效

hive cli

a方式在大电商里面基本上不用,一般用b方式,原因就是因为很多bi开发人员都不会java。。。

下面是几个hive常用命令

hive -e "select * from dual"

hive -f 跟一个sql文件,但是有一个致命的问题,不支持传参数

hive -i 跟一个文件名称,文件里面会有一些jar,create临时函数的一些语法




www.htsjk.Com true http://www.htsjk.com/hive/31872.html NewsArticle hive体系结构和hive作业形式, hive作业的规模决定着优化层级,一个hive作业优化和一万个是肯定不同的 企业一般是从架构层面,hivesql语法层面,hive参数层面进行优化 hive作业形式: a,...
相关文章
    暂无相关文章
评论暂时关闭