欢迎投稿

今日深度:

Spark on Hive 和 Hive on Spark的区别,

Spark on Hive 和 Hive on Spark的区别,


Spark on Hive : Hive只作为存储角色,Spark负责sql解析优化,执行。
这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下:

Hive on Spark:Hive既作为存储又负责sql的解析优化,Spark负责执行。
这里Hive的执行引擎变成了Spark,不再是MR,相较于Spark on Hive,这个实现较为麻烦,必须要重新编译spark并导入相关jar包。目前,大部分使用Spark on Hive。

www.htsjk.Com true http://www.htsjk.com/hive/33734.html NewsArticle Spark on Hive 和 Hive on Spark的区别, Spark on Hive : Hive只作为存储角色,Spark负责sql解析优化,执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体...
相关文章
    暂无相关文章
评论暂时关闭