欢迎投稿

今日深度:

Flink 的经典场景和业务故事有哪些?看看他们就知道了,

Flink 的经典场景和业务故事有哪些?看看他们就知道了, 在大数据的日常场景中,从数据生产者,到数据收集、数据处理、数据应用(BI+AI),整个大数据 + AI 全栈的每个环节,Flink 均...(发布于2020-04-23 21:51:10)

SparkSQL DatasourceV2 之 Multiple Catalog,

SparkSQL DatasourceV2 之 Multiple Catalog, [原文链接](https://mp.weixin.qq.com/s/mZpvFRwO2xb5j7c5_ZARTQ)作者:马骏杰----##问题SparkSQL是Spark的一个子模块,主要功能是用于处理结构化数据,目前在大数据...(发布于2020-04-23 21:51:02)

hive中将单行拆分成多行总结,

hive中将单行拆分成多行总结, hive中将单行拆分成多行 初始值: id name mobiles 1 jim 139,177,158 想得到的结果: id name mobiles 1 jim 139 1 jim 177 1 jim 158 创建测试数据 CREATE TABLE fwj.customer(id STRI...(发布于2020-04-16 21:51:41)

Spark问答合集及解决方法,

Spark问答合集及解决方法, Spark问答合集及解决方法,转自和通数据库开发者问答,大家有问题可以移步和通数据库问答模块:https://developer.aliyun.com/ask/ 如何使用spark将kafka主题中的wr...(发布于2020-04-12 21:49:55)

hive安装,

hive安装, Hive只在一个节点上安装即可 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点) mysql安装...(发布于2020-04-08 21:51:32)

hive on tez踩坑记2-hive0.14 on tez,

hive on tez踩坑记2-hive0.14 on tez, 在测试hive0.14.0 on tez时遇到的问题比较多: 1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时,首先遇到下面的问题 12345678910111213141516171819202122 java.lang.NoSuchMethodErro...(发布于2020-04-08 21:51:22)

五分钟学后端技术:一篇文章教你读懂大数据技术栈!,

五分钟学后端技术:一篇文章教你读懂大数据技术栈!, 作者:网易云 链接:https://www.zhihu.com/question/27696290/answer/381993207 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权...(发布于2020-04-02 21:54:11)

趣头条基于 Flink+ClickHouse 构建实时数据分析平台,

趣头条基于 Flink+ClickHouse 构建实时数据分析平台, 作者:王金海@趣头条 摘要:本文由趣头条数据平台负责人王金海分享,主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级...(发布于2020-04-02 21:53:44)

阿里云智能事业群 EMR团队招人啦!,

阿里云智能事业群 EMR团队招人啦!, 团队介绍 和通数据库智能事业群 EMR 是阿里巴巴计算平台事业部的开源大数据生态体系核心技术团队。我们以 Apache Hadoop 和 Spark为核心打造一站式...(发布于2020-03-30 21:50:31)

2020计算平台事业部校招开始啦!,

2020计算平台事业部校招开始啦!, 团队介绍 和通数据库实时计算部是阿里巴巴大数据技术体系的核心团队。我们围绕Apache Flink为核心打造的大数据实时计算平台,一方面在阿里集团内...(发布于2020-03-27 21:51:37)

amabri升级 hive,

amabri升级 hive, HIVE 升级 1.2.1 操作文档 将最新的 apache-hive-1.2.1-bin.tar.gz 文件解压到 hdp 文件目录下, 解压得到 apache-hive-1.2.1-bin 将原 删除,重命名 apache-hive-1.2.1-bin 为 hive 进行替换 进入...(发布于2020-03-26 21:55:08)

Hive 保护模式,

Hive 保护模式, 使用 Hive 自管理的表的时候都担心如果误 drop 了表怎么办,因此 Hive 除了外部表的方式还提供了一个功能: ProtectMode (保护模式) . 细心的同学会发现文档里其实提到过...(发布于2020-03-25 21:56:18)

Hive架构及Hive On Spark,

Hive架构及Hive On Spark, Hive的所有数据都存在HDFS中. (1)Table:每个表都对应在HDFS中的目录下,数据是经过序列化后存储在该目录中。同时Hive也支持表中的数据存储在其他类型的文件系统中...(发布于2020-03-25 21:56:12)

Hive统一元数据管理,

Hive统一元数据管理, 从E-MapReduce-2.4.0(以下简称 EMR) 版本开始,E-MapReduce支持了统一元数据管理,在E-MapReduce-2.4.0版本之前,用户所有集群均采用的是集群本地的mysql数据库作为Hive元数...(发布于2020-03-25 21:55:57)

Hive 终于等来了 Flink,

Hive 终于等来了 Flink, 作者:Jason Apache Spark 什么时候开始支持集成 Hive 功能?笔者相信只要使用过 Spark 的读者,应该都会说这是很久以前的事情了。 那 Apache Flink 什么时候支持与 Hiv...(发布于2020-03-24 21:51:09)

一套 SQL 搞定数据仓库?Flink有了新尝试,

一套 SQL 搞定数据仓库?Flink有了新尝试, 数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务,也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善...(发布于2020-03-20 04:33:43)

一套 SQL 搞定数据仓库?Flink有了新尝试,

一套 SQL 搞定数据仓库?Flink有了新尝试, 和通数据库号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 阿里妹导读:数据仓库...(发布于2020-03-20 04:33:34)

必看!Spark 进阶之路之「SparkSQL」入门概述,

必看!Spark 进阶之路之「SparkSQL」入门概述, 和通数据库号:https://yqh.aliyun.com 第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上...(发布于2020-03-08 09:30:42)

性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成,

性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成, 导读: 随着 Flink 在流式计算的应用场景逐渐成熟和流行,如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink...(发布于2020-03-05 23:01:46)

Apache iceberg:Netflix 数据仓库的基石,

Apache iceberg:Netflix 数据仓库的基石, Apache Iceberg 是一种用于跟踪超大规模表的新格式,是专门为对象存储(如S3)而设计的。 本文将介绍为什么 Netflix 需要构建 Iceberg,Apache Iceberg 的高...(发布于2020-02-28 21:53:25)