欢迎投稿

今日深度:

hive 安装,

hive 安装, 前提:安装好mysql;  sudo apt-get install mysqlserver; 1 配置mysql 数据库 创建数据库:create database hive; 在mysql中创建一个用户hivetest: //创建用户 mysql insert into mysql.user(Host,User,Passwor...(发布于2019-12-22 23:32:50)

hive问题,

hive问题, 1、 0: jdbc:hive2://172.21.11.140:10000/default select * from thisMonth_fee201705 where user_id=’test1’; ERROR : Ended Job = job_1530517590445_0020 with errors ERROR : FAILED: Execution Error, return code 2 from org.apach...(发布于2019-12-22 23:32:46)

Hive之复合类型,

Hive之复合类型, hive array 、 map 、 struct 使用 hive 提供了复合数据类型: Structs : structs 内部的数据可以通过 DOT ( . )来存取,例如,表中一列 c 的类型为 STRUCT{a INT; b INT} ,我们可以...(发布于2019-12-22 23:32:42)

HIVE 小技巧,

HIVE 小技巧, 1.hive 从虚拟表查询多行记录。 在初始化特定数据的时候,可以作为一个子查询表做关联动作。 SELECT explode(ARRAY(1,2,3)) FROM dual; 2.hive 的join 的优化 在关联表的时候,为了让...(发布于2019-12-22 23:32:38)

hive udf,

hive udf, 有两种方式写UDF 一、就是网上比较常见就是,写一个java project然后导入hive依赖包,写一个继承UDF的一个类,实现功能 然后通过以下脚本注入 add jar /home/hadoop/hive_udf/hiveUDF.jar...(发布于2019-12-22 23:32:34)

hive的基本操作,

hive的基本操作, 一,认识hive 1,hive介绍 The Apache Hive ™ data warehouse software facilitates reading,  writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data a...(发布于2019-12-22 23:32:30)

hive的优化,

hive的优化, 1.概述 本篇博客赘述了在工作中总结 Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先,我们来看看 Hadoop的计算框架特性,在...(发布于2019-12-22 23:32:26)

spark,hive,

spark,hive, 之前都是hadoop上操作hive,现在在spark上连接hive。 进入到spark下:cd opt/spark-2.2.1-bin-hadoop2.7 进入spark下的conf下:cd conf 复制hive这个文件:cp /home/hadoop/apache-hive-2.3.2-bin/conf/hive-...(发布于2019-12-22 23:32:22)

Hive 优化,

Hive 优化, Hive 针对不同的查询进行了优化,优化可以通过配置进行控制,本文将介绍部分优化的策略以及优化控制选项。 列裁剪(Column Pruning) 在读数据的时候,只读取查询中需要用...(发布于2019-12-22 23:32:18)

Hive --,

Hive --, 体系结构 元数据 是什么? 元数据包括表信息(存储位置、属性及分区信息等)、列信息等; 存储位置 元数据一般存储在关系型数据库中,如MySQL及默认的Derby等; HQL语句执行...(发布于2019-12-22 00:53:36)

Hive总结,

Hive总结, 一、启动 hive --service metastore  端口检查:ss -nal      9083端口       hiveserver2               端口检查               10000 hive  数据: 11,zhangsan12,daqiu-kanshu-kandingyi,beijing:...(发布于2019-12-22 00:53:32)

hive日志分析,

hive日志分析, 日志记录了程序运行的过程,是一种查找问题的利器。 Hive中的日志分为两种 1. 系统日志,记录了hive的运行情况,错误状况。    路径在datanode节点上:/tmp/用户名/hive...(发布于2019-12-22 00:53:28)

Hive的函数,

Hive的函数, Hive的函数 系统自带的函数 1)查看系统自带的函数 hive show functions; 2)显示自带的函数的用法 hive desc function upper; 3)详细显示自带的函数的用法 hive desc function extended uppe...(发布于2019-12-22 00:53:24)

Hive的函数,

Hive的函数, Hive的函数 系统自带的函数 1)查看系统自带的函数 hive show functions; 2)显示自带的函数的用法 hive desc function upper; 3)详细显示自带的函数的用法 hive desc function extended uppe...(发布于2019-12-22 00:53:20)

Hive性能调优,

Hive性能调优, 转载自:http://blog.csdn.net/wisgood/article/details/1735662 1.  设置hive.map.aggr=true,提高HiveQL聚合的执行性能。 这个设置可以将顶层的聚合操作放在Map阶段执行,从而减轻清洗阶段...(发布于2019-12-22 00:53:16)

Hive 常用操作,

Hive 常用操作, Hive 操作 (一)表操作 Hive 和 Mysql 的表操作语句类似,如果熟悉 Mysql,那Hive 的表操作就非常容易,下面对 Hive 的表操作进行深入讲解。 (1)先来创建一个表名为stude...(发布于2019-12-22 00:53:12)

hive常用命令,

hive常用命令, 1、拉去基本的数据并显示前100行 2、带分隔符字符串连接 3、查看部分表 4、查看表结构 5、导出简单的数据 6、建表 7、查看所有表...(发布于2019-12-22 00:53:08)

Hive自定义函数,

Hive自定义函数, 一、hive为我们提供的函数 hive给我们提供了一些内置函数,比如截取字符串,大小写转换 此处距离substr 1、首先模仿sql建立一个伪表dual create table dual(id string); 2、准备...(发布于2019-12-22 00:53:04)

hive环境安装,

hive环境安装, 1、将apache-hive-1.2.1-bin.tar.gz上传到以下目录 (这个目录可以自定义,我惯用这个) /opt/modules/app 2、解压到当前目录,并且重命名为hive tar -xzvf apache-hive-1.2.1-bin.tar.gz 3、配...(发布于2019-12-22 00:52:59)

hive的使用,

hive的使用, 第一部分 连接hive 服务器运行模式 虽然可以使用hive与shell交互的方式启动hive [root@mini1 ~]# cd apps/hive/bin [root@mini1 bin]# ll 总用量 32 -rwxr-xr-x. 1 root root 1031 4月 30 2015 beeline drwx...(发布于2019-12-20 23:26:04)