欢迎投稿

今日深度:

hive 的存储格式,行式存储和列式存储列

hive 的存储格式,行式存储和列式存储列 Hive支持的存储数据的格式主要有textfile行式存储 、sequencefile(行式存储)、orc列式存储、parquet列式存储。 行式存储和列式存储 列式存储 是指 一...(发布于2023-04-01 02:01:34)

hive的索引,索引的作用相当于图书

hive的索引,索引的作用相当于图书 索引 关系型数据库中的索引在关系数据库中索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构它是某个表中一列或若...(发布于2023-03-29 02:08:04)

Hive总结,但是数据库的元数据信

Hive总结,但是数据库的元数据信 文章目录 1. 概念 2. Hive与Hadoop的关系 3. Hive中的命令 3.1 创建数据库并指定hdfs存储位置 3.2 修改数据库 3.3 查看数据库信息 3.4 创建表并指定字段之间的分...(发布于2023-03-28 02:34:37)

Hive调优,

Hive调优, hive优化(数据倾斜) 问题描述 1.倾斜小文件 join 大文件内容倾斜2.JOBS多joinunionsub_query3.count(distinct)4.Task过多 解决方案整体考虑 1.建模分层轻量聚合分区避免交换压缩减少体量...(发布于2023-03-27 02:01:56)

Hive动态分区,详细来说&#xff0

Hive动态分区,详细来说#xff09;hive中支持两种类型的分区 二实战演示如何在hive中使用动态分区 一hive中支持两种类型的分区 静态分区SPstatic partition 动态分区DPdynamic partition 静态分区与动...(发布于2023-03-27 02:01:52)

Hive开启审计日志,

Hive开启审计日志, CDH5和CDH6开启审计日志的方式有点区别 免费拿走不谢 CDH6.x Hive的版本的2.x 使用的log4j2 开启审计日志如下 appenders AUDITappender.AUDIT.type RollingRandomAccessFileappender.AUDIT.nam...(发布于2023-03-27 02:01:48)

hive建表,2.内部表数据由Hi

hive建表,2.内部表数据由Hi https://blog.csdn.net/wgyzzzz/article/details/107446435 一、hive建表语法 二、hive外部表 1、准备测试数据、放入虚拟机/data目录下 2、创建外部表 3、装载数据 4、查询tes...(发布于2023-03-27 02:01:45)

修改hive默认格式,一、修改hive默认

修改hive默认格式,一、修改hive默认 文章目录 前言 一、修改hive默认格式方法 二、测试是否生效 总结 前言 设置hive默认格式作用统一数据格式。 一、修改hive默认格式方法 设置默认格...(发布于2023-03-27 02:01:41)

JAVA如何连接Hive,

JAVA如何连接Hive, pom.xml !-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -- dependency groupId org.apache.hadoop / groupId artifactId hadoop-common / artifactId version 2.7.3 / version / dependency !-- https://...(发布于2023-03-27 02:01:37)

Hive Catalog,所以,

Hive Catalog,所以 什么是Hive Catalog 我们知道Hive使用Hive Metastore(HMS)存储元数据信息使用关系型数据库来持久化存储这些信息。所以Flink集成Hive需要打通Hive的metastore去管理Flink的元数据这就...(发布于2023-03-27 02:01:33)

HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop

HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.S,或者在showdat 项目场景 启动mysql后 启动hive,执行 show databases;后出现以下问题。或者在show databases时候报错...(发布于2023-03-27 02:01:29)

Hive sql删除分区,

Hive sql删除分区, -- 查看分区 show partitions  table_name;-- 删除指定分区 alter table shiye_data_center_new.dwd_mt_buss_event_cl drop if exists partition(filedatexxx, spacexxx); -- 删除库 drop database if exists db_name;...(发布于2023-03-27 02:01:24)

hive中的数据类型,原始数据jackj

hive中的数据类型,原始数据jackj 数据类型 1.Hive中的数据类型分为两类基本类型和复杂类型 2.基本类型包含tinyintsmallintintbigintfloatdoublebooleanstringtimestampbinary 3.复杂类型arraymap和struct a. a...(发布于2023-03-27 02:01:20)

hive中如何新增字段,

hive中如何新增字段, 1、方法1 alter table 表名 add columns (列名 string COMMENT 新添加的列) CASCADE;alter table 表名 add columns (列名 string COMMENT 新添加的列)hive表中指定位置增加一个字段分两步先...(发布于2023-03-26 02:01:43)

hive查看分区,

hive查看分区, 查看全部分区 show partitions tmp.testdt20220807/num0dt20220807/num1dt20220807/num2dt20220807/num3dt20220808/num0dt20220808/num1dt20220808/num2dt20220808/num3dt20220809/num0dt20220809/num1dt20220809/num2dt20220809/n...(发布于2023-03-26 02:01:39)

Hive分区,有时候只需要扫描表中

Hive分区,有时候只需要扫描表中 目录 一、理论基础 1、Hive分区背景 2、Hive分区实质 3、Hive分区的意义 4、常见的分区技术 二、分区操作 (一)、静态分区 1、单分区 2、多分区 (二)、动态...(发布于2023-03-26 02:01:35)

[Hive]一篇带你读懂Hive是什么,Hive是基于Had

[Hive]一篇带你读懂Hive是什么,Hive是基于Had ✅作者简介大家好,我是Philosophy7让我们一起共同进步吧 个人主页Philosophy7的csdn博客 系列专栏 哲学语录: 承认自己的无知乃是开启智慧的大门...(发布于2023-03-26 02:01:31)

Hive删库,加cascade可强

Hive删库,加cascade可强 drop database tpch_textfile; 报错如下 Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database tpch_te...(发布于2023-03-26 02:01:27)

Hive Metastore详解大全,使用JPOXORM解

Hive Metastore详解大全,使用JPOXORM解 1、介绍 Hive所有表和分区的元数据都通过Hive Metastore进行访问。使用JPOX ORM解决方案(Data Nucleus)持久化元数据因此它支持的任何数据库都可以被Hive使用...(发布于2023-03-26 02:01:23)

Hive 体系架构,Hive的三种运行模

Hive 体系架构,Hive的三种运行模 Hive 为C/S模式其体系架构如下 Hive Hive 使用的数据在 HDFS 中Hive 的 HQL 将转为 MR、Tez 或 Spark 后在 Hadoop 集群上运行。 Hive 的三种运行模式内嵌模式、本地模...(发布于2023-03-26 02:01:19)