欢迎投稿

今日深度:

SparkSQL DatasourceV2 之 Multiple Catalog,

SparkSQL DatasourceV2 之 Multiple Catalog,


[原文链接 ](https://mp.weixin.qq.com/s/mZpvFRwO2xb5j7c5_ZARTQ) 作者:马骏杰 ---- ##问题 SparkSQL是Spark的一个子模块,主要功能是用于处理结构化数据,目前在大数据OLAP领域已经有了广泛的应用。Iceberg作为一个通用的表格式,也已经在数据湖的解决方案中逐渐展现了它的优势。 那该如何将这2者相结合,使得应用SparkSQL + Iceberg可以和SparkSQL + Hive一样方便,如,基于SQL直接访问数据或进行DDL操作: ``` select c1 from iceberg_db.t; drop table iceberg_db.t; ``` ##SparkSQL 基本原理 先来看下SparkSQL处理SQL的基本流程: ![ima

www.htsjk.Com true http://www.htsjk.com/hive/42858.html NewsArticle SparkSQL DatasourceV2 之 Multiple Catalog, [原文链接](https://mp.weixin.qq.com/s/mZpvFRwO2xb5j7c5_ZARTQ)作者:马骏杰----##问题SparkSQL是Spark的一个子模块,主要功能是用于处理结构化数据,目前在大数据...
评论暂时关闭