Hive的用法,
Hive的用法, hive 命令行 -------------------------------- 1.定义变量: $hive -d name=hyxy; //进入到客户端,并定义了变量为name,值为hyxy;作用域在hivevar下 查看设置后的属...(发布于2019-12-20 23:26:00)
hive综述,
hive综述, 1.hive的作用用类SQL的语言HQL来计算HDFS中的数据,主要做海量数据的离线分析,没有实物的概念. 2.Hive更加侧重OLAP( 联机分析处理 )的操作tips: set hive.cli.print.current.db=true//显示...(发布于2019-12-20 23:25:56)
Hive文件格式,
Hive文件格式, hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据...(发布于2019-12-20 23:25:52)
hive的严格模式,
hive的严格模式, hive严格模式 hive提供了一个严格模式,可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格 模式下无法执行。通过设置h...(发布于2019-12-20 23:25:48)
Hive常用命令,
Hive常用命令, #创建新表 hive CREATE TABLE t_hive (a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; #导入数据t_hive.txt到t_hive表 hive LOAD DATA LOCAL INPATH '/home/cos/demo/t_hive.txt' OVERWRITE INTO TABL...(发布于2019-12-20 23:25:44)
hive的安装,
hive的安装, 二 Hive安装环境准备 2.1 Hive安装地址 1)Hive官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址: http://archive.ap...(发布于2019-12-20 23:25:40)
Hive常用函数,
Hive常用函数, 1、数学函数 (1)round:四舍五入 select round(数值,小数点位数); (2)ceil:向上取整 select ceil(45.6); (3)floor:向下取整 select floor(45.6); 2、字符函数 (1)lower:转成小...(发布于2019-12-20 23:25:36)
Hive之UDF,
Hive之UDF, pom.xml ? xml version = "1.0" encoding = "UTF-8" ? project xmlns = "http://maven.apache.org/POM/4.0.0" xmlns : xsi = "http://www.w3.org/2001/XMLSchema-instance" xsi : schemaLocation = "http://maven.apache.org/POM/4.0.0 http://...(发布于2019-12-20 23:25:32)
Hive 体系结构,
Hive 体系结构, 1、Hive架构与基本组成 下面是Hive的架构图。 图1.1 Hive体系结构 Hive的体系结构可以分为以下几部分: (1)用户接口主要有三个:CLI,Client 和 WUI。其中最常...(发布于2019-12-20 23:25:28)
Struct复杂数据类型的UDF编写、GenericUDF编写,
Struct复杂数据类型的UDF编写、GenericUDF编写, 一、背景介绍: MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展...(发布于2019-12-20 23:11:05)
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践,qq数据迁
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践,qq数据迁移到新手机 Facebook 经常使用分析来进行数据驱动的决策。在过去的几年里,用户和产品都得到了增长,使得我们分析引擎...(发布于2019-12-20 23:10:56)
Hive CLI,
Hive CLI, Variables and Properties -- 设置 hive 变量 [sql] view plaincopyprint? $ hive --define foo=bar hive set foo; foo=bar; hive set hivevar:foo; hivevar:foo=bar; hive set hivevar:foo=bar2; ...(发布于2019-12-19 22:55:10)
Hive 脚本,
Hive 脚本, Hive 子嵌套不能在 where语句中用,只能在from中使用 可以通过join on 来实现where子嵌套功能...(发布于2019-12-19 22:55:06)
hive教程,
hive教程, http://www.yiibai.com/hive/...(发布于2019-12-19 22:55:02)
hive安装,
hive安装, su - hadoop xftp打开/home/hadoop/soft 上传 tar -xvf apache-hive-1.2.2-bin.tar.gz mv apache-hive-1.2.2-bin …/install/hive cd /home/hadoop/install/hive 修改环境变量 vim /etc/profile export JAVA_HOME=/usr/local/jdk ex...(发布于2019-12-19 22:54:58)
hive体系结构,
hive体系结构, 1、什么是hive Hive是一个基于Hadoop的数据仓库,可以将结构化数据映射成一张表,并提供类SQL的功能,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、mapRed...(发布于2019-12-19 22:54:54)
Hive基本操作,
Hive基本操作, 文章目录 1、Hive在HDFS上的默认存储路径 2、hive中的数据库 查看数据库 切换数据库(如切换到数据库kaidy) 创建数据库 删除数据库 3、hive中的表 查看数据库中所有的表 创建...(发布于2019-12-19 22:54:50)
hive mapjoin,
hive mapjoin, hive 版本:1.2.1 在Hive中,common join是很慢的,如果我们是一张大表关联多张小表,可以使用mapjoin加快速度。 mapjoin主要有以下参数: hive.auto.convert.join : 是否自动转换为ma...(发布于2019-12-19 22:54:46)
Hive 数据类型,
Hive 数据类型, 1 基本数据类型 对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字...(发布于2019-12-19 22:54:42)
Hive 知识梳理,
Hive 知识梳理, 1、 order by, sort by, distribute by, cluster by 背景表结构 在讲解中我们需要贯串一个 例子,所以需要设计一个情景,对应 还要有一个表结构和填充数据。如下: 有 3 个字...(发布于2019-12-19 22:54:38)