欢迎投稿

今日深度:

Hive工作流程,

Hive工作流程,


Hive工作流程

1.通过客户端提交一条Hql语句

2.通过complier(编译组件)对Hql进行词法分析、语法分析。在这一步,编译2器要知道此Hql语句到底要操作哪张表

3.去元数据库找表信息

4.得到信息

5.complier编译器提交Hql语句分析方案。

6-1.executor执行器收到方案后,执行方案(DDL过程)。在这里注意,执行器在执行方案时,会判断:如果当前方案不涉及到MR组件,比如为表添加分区信息、比如字符串操作等,比如简单的查询操作等,此时就会直接和元数据库交互,然后去HDFS上去找具体数据。如果方案需要转化成MR job,则会将job提交给Hadoop的JobTracker。

6-2.MR job完成,并且将运行结果写入到HDFS上

6-3.执行器和HDFS交互,获取结果文件信息。

7.如果客户端提交Hql语句是带有查询结果性的,则会发生:7-8-9步,完成结果的查询。

www.htsjk.Com true http://www.htsjk.com/hive/40060.html NewsArticle Hive工作流程, Hive工作流程 1.通过客户端提交一条Hql语句 2.通过complier(编译组件)对Hql进行词法分析、语法分析。在这一步,编译2器要知道此Hql语句到底要操作哪张表 3.去元数据库找...
相关文章
    暂无相关文章
评论暂时关闭