SparkSQL DatasourceV2 之 Multiple Catalog,
[原文链接 ](https://mp.weixin.qq.com/s/mZpvFRwO2xb5j7c5_ZARTQ) 作者:马骏杰 ---- ##问题 SparkSQL是Spark的一个子模块,主要功能是用于处理结构化数据,目前在大数据OLAP领域已经有了广泛的应用。Iceberg作为一个通用的表格式,也已经在数据湖的解决方案中逐渐展现了它的优势。 那该如何将这2者相结合,使得应用SparkSQL + Iceberg可以和SparkSQL + Hive一样方便,如,基于SQL直接访问数据或进行DDL操作: ``` select c1 from iceberg_db.t; drop table iceberg_db.t; ``` ##SparkSQL 基本原理 先来看下SparkSQL处理SQL的基本流程: ![ima
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。