欢迎投稿

今日深度:

Hadoop集群(五) Hive安装,

Hadoop集群(五) Hive安装, 作为一个多年的DBA,hadoop家族中,最亲切的产品就是hive了。毕竟SQL的使用还是很熟悉的。再也不用担心编写Mapreducer的痛苦了。 首先还是简单介绍一下Hive吧 Hi...(发布于2021-02-05 21:17:42)

第 17 章 Apache Hive,

第 17 章 Apache Hive, 目录 17.1. 安装 Apache Hive 17.1.1. MySQL 17.1.2. Hadoop 17.1.3. Hive 17.1.4. 启动 Hive 17.1.5. 访问 Hive 17.1.6. 配置 hiveserver2 17.2. beeline 17.3. 管理 Hive 17.3.1. 表管理 17.3.1.1. 创建表 17....(发布于2021-01-31 00:48:20)

有哪些大数据处理工具?,

有哪些大数据处理工具?, 和通数据库号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 阿里妹导读:近几年里,大数据行业...(发布于2020-07-22 21:49:38)

OSS数据湖实践——EMR + Hive + OSS案例,

OSS数据湖实践——EMR + Hive + OSS案例, Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管理;本文通过一个简单的示例来展现如何结合OSS+EMR+Hive来分...(发布于2020-07-22 06:13:11)

18个PPT,29个提问解答,都在这儿啦!,

18个PPT,29个提问解答,都在这儿啦!, 4月25-26日,全球首个 Apache 顶级项目在线盛会 Flink Forward 中文精华版重磅开播,聚焦 Alibaba、 Google、AWS、Uber、Netflix、DellEMC、微博、滴滴等各大互...(发布于2020-04-28 21:50:43)

Delta Lake Presto Integration & Manifests 机制,

Delta Lake Presto Integration Manifests 机制, 原文链接 该功能与我们之前平台化 Delta Lake 平台化实践(离线篇) 的很多工作都较为相似,比如与 metastore 的集成,直接通过 manifest 读取 delta 存活...(发布于2020-04-27 21:51:53)

一步即可,阿里云数据湖分析服务构建MySQL低成本分析方案,

一步即可,阿里云数据湖分析服务构建MySQL低成本分析方案, 数据湖分析(Data Lake Analytics,简称DLA) 是Serverless化的交互式联邦查询服务。使用标准SQL即可分析与集成对象存储(OSS)、数据库...(发布于2020-04-27 04:55:32)

Flink 的经典场景和业务故事有哪些?看看他们就知道了,

Flink 的经典场景和业务故事有哪些?看看他们就知道了, 在大数据的日常场景中,从数据生产者,到数据收集、数据处理、数据应用(BI+AI),整个大数据 + AI 全栈的每个环节,Flink 均...(发布于2020-04-23 21:51:10)

SparkSQL DatasourceV2 之 Multiple Catalog,

SparkSQL DatasourceV2 之 Multiple Catalog, [原文链接](https://mp.weixin.qq.com/s/mZpvFRwO2xb5j7c5_ZARTQ)作者:马骏杰----##问题SparkSQL是Spark的一个子模块,主要功能是用于处理结构化数据,目前在大数据...(发布于2020-04-23 21:51:02)

hive中将单行拆分成多行总结,

hive中将单行拆分成多行总结, hive中将单行拆分成多行 初始值: id name mobiles 1 jim 139,177,158 想得到的结果: id name mobiles 1 jim 139 1 jim 177 1 jim 158 创建测试数据 CREATE TABLE fwj.customer(id STRI...(发布于2020-04-16 21:51:41)

Spark问答合集及解决方法,

Spark问答合集及解决方法, Spark问答合集及解决方法,转自和通数据库开发者问答,大家有问题可以移步和通数据库问答模块:https://developer.aliyun.com/ask/ 如何使用spark将kafka主题中的wr...(发布于2020-04-12 21:49:55)

hive安装,

hive安装, Hive只在一个节点上安装即可 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点) mysql安装...(发布于2020-04-08 21:51:32)

hive on tez踩坑记2-hive0.14 on tez,

hive on tez踩坑记2-hive0.14 on tez, 在测试hive0.14.0 on tez时遇到的问题比较多: 1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时,首先遇到下面的问题 12345678910111213141516171819202122 java.lang.NoSuchMethodErro...(发布于2020-04-08 21:51:22)

五分钟学后端技术:一篇文章教你读懂大数据技术栈!,

五分钟学后端技术:一篇文章教你读懂大数据技术栈!, 作者:网易云 链接:https://www.zhihu.com/question/27696290/answer/381993207 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权...(发布于2020-04-02 21:54:11)

趣头条基于 Flink+ClickHouse 构建实时数据分析平台,

趣头条基于 Flink+ClickHouse 构建实时数据分析平台, 作者:王金海@趣头条 摘要:本文由趣头条数据平台负责人王金海分享,主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级...(发布于2020-04-02 21:53:44)

阿里云智能事业群 EMR团队招人啦!,

阿里云智能事业群 EMR团队招人啦!, 团队介绍 和通数据库智能事业群 EMR 是阿里巴巴计算平台事业部的开源大数据生态体系核心技术团队。我们以 Apache Hadoop 和 Spark为核心打造一站式...(发布于2020-03-30 21:50:31)

2020计算平台事业部校招开始啦!,

2020计算平台事业部校招开始啦!, 团队介绍 和通数据库实时计算部是阿里巴巴大数据技术体系的核心团队。我们围绕Apache Flink为核心打造的大数据实时计算平台,一方面在阿里集团内...(发布于2020-03-27 21:51:37)

amabri升级 hive,

amabri升级 hive, HIVE 升级 1.2.1 操作文档 将最新的 apache-hive-1.2.1-bin.tar.gz 文件解压到 hdp 文件目录下, 解压得到 apache-hive-1.2.1-bin 将原 删除,重命名 apache-hive-1.2.1-bin 为 hive 进行替换 进入...(发布于2020-03-26 21:55:08)

Hive 保护模式,

Hive 保护模式, 使用 Hive 自管理的表的时候都担心如果误 drop 了表怎么办,因此 Hive 除了外部表的方式还提供了一个功能: ProtectMode (保护模式) . 细心的同学会发现文档里其实提到过...(发布于2020-03-25 21:56:18)

Hive架构及Hive On Spark,

Hive架构及Hive On Spark, Hive的所有数据都存在HDFS中. (1)Table:每个表都对应在HDFS中的目录下,数据是经过序列化后存储在该目录中。同时Hive也支持表中的数据存储在其他类型的文件系统中...(发布于2020-03-25 21:56:12)