hive 安装,
hive 安装, 版本: my5.6.22-1.linux64 一 . 安装 Mysql 1 判断 centos 上是否有安装,执行命令 rpm -qa |grep mysql 2 如果已经安装,需要删除原有的,防止冲突,执行命令 $ rpm -e mysql-libs-5.1.66...(发布于2019-12-06 22:50:10)
hive基础,
hive基础, 一、 hive介绍 Hive是一个中间工具。它的主要作用是将HQL(Hive Query Language)转换为一系列的MapReduce Job,利用Hadoop框架对数据进行类SQL处理。他的主要功能是在Hadoop框架...(发布于2019-12-06 22:50:06)
hive命令,
hive命令, //创建表,external 外部表 $hiveCREATE external TABLE IF NOT EXISTS t2(id int,name string,age int) COMMENT 'xx' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ; //查看表数据 $hivedesc t2 ; ...(发布于2019-12-06 22:50:03)
hive自定义函数,
hive自定义函数, 1.创建类,继承UDF package com.hivedemo.udf; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; /** * 自定义hive函数 */ @Description(n...(发布于2019-12-06 22:49:59)
Hive函数,
Hive函数, Hive函数 数学函数 聚合函数 说明 表生成函数 内置函数 一些函数的使用 lateral view explode parse_url_tuple array_contains 数学函数 函数 说明 ceil 向上取整 rand(123) 带seed的,在[0,1]之间...(发布于2019-12-06 22:49:53)
hive待续,
hive待续, hive use database;进入数据库 show tables;显示所有表 desc tablename;查看表结构 drop table tablename;删除表 create talbe tablename(id bigint, name string); 创建表 insert overwrite talbe tablename select...(发布于2019-12-05 22:11:52)
Hive 创建表,
Hive 创建表, 1. Hive 创建表时正则表达式与java代码中一致,RegexSerDe 中用\\来表示反转码 create table inst_cn_3 ( ip string, time string, mac string, lan string, ver string, lc string, pn string, reg string, vrf str...(发布于2019-12-05 22:11:48)
hive入门,
hive入门, Hive是Hadoop项目中的一个子项目,由FaceBook向Apache基金会贡献,其中TaoBao也是其中一位使用者+贡献者,Hive被视为一个仓库工具,可以将结构化的数据文件映射为一张数据库...(发布于2019-12-05 22:11:43)
Hive自定义函数,
Hive自定义函数, 由Hive自定义函数引出Hive的架构和底层原理...(发布于2019-12-05 22:11:28)
Hive Tips,
Hive Tips, 在Hive中,某些小技巧可以让我们的Job执行得更快,有时一点小小的改动就可以让性能得到大幅提升,这一点其实跟SQL差不多。 首先,Hive != SQL,虽然二者的语法很像,但是H...(发布于2019-12-04 22:53:23)
hive的基础语法,
hive的基础语法, 1、在linux命令行模式下,查询变量名称 $ hive -S -e "set"| grep warhouse hive.metastore.warehouse.dir=/user/hive/warehouse hive.warehouse.subdir.inherit.perms=true 2、linux命令行下,执行hive查询语...(发布于2019-12-04 22:53:20)
hive基础知识,
hive基础知识, 一、架构原理 二、常用命令 建表 内部表 内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse) 删除内部表会直接删除元数据(metadata)及存储数据。...(发布于2019-12-04 22:53:16)
Hive优化,
Hive优化, Hive 针对不同的查询进行了优化,优化可以通过配置进行控制,本文将介绍部分优化的策略以及优化控制选项。 列裁剪(Column Pruning) 在读数据的时候,只读取查询中需...(发布于2019-12-04 22:53:12)
Hive 权限控制,
Hive 权限控制, Hive 权限控制 字数1135 阅读551 评论0 喜欢0 说明 认证(authentication):验证用户所用的身份是否是对的 授权(authorization):验证用户所用身份操作是否有权限 目前hive(版本...(发布于2019-12-04 22:53:08)
Hive 命令,
Hive 命令, 1. hive - e “select * from A where createtime='2014-09-22' ” 2.desc tablename 查看表结构 3.show tables like '*user*' 查找到 包含user的table...(发布于2019-12-04 22:53:03)
hive数据类型,
hive数据类型, 翻译自 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 列类型 Hive支持的数据类型如下: 原生类型: TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING BINARY (Hive 0.8.0以上才...(发布于2019-12-04 22:52:59)
hive安装,
hive安装, 1.安装mysql 2.解压hive:tar -zxf apache-hive-2.2.0-bin.tar.gz /apps 重命名:mv apache-hive-2.2.0 hive 3.将mysql-connetct-java.jar 拷贝到 hive/lib下 4.配置hive-site.xml:vi hive-site.xml configuration property...(发布于2019-12-04 22:52:56)
Hive DDL,
Hive DDL, 1. 相关说明 DDL=Date Definition Language,数据定义语言。 学习hive的HQL的DDL相关语法,建议对照官方WIKI,因为语法参数较多,而且和SQL多有相似,不建议记忆,梳理一下,记住相关...(发布于2019-12-04 22:52:52)
Hive的数据类型,
Hive的数据类型, Hive支持的数据类型如下: 原生类型: TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING BINARY (Hive 0.8.0以上才可用) TIMESTAMP (Hive 0.8.0以上才可用) 复合类型: arrays: ARRAYdata...(发布于2019-12-04 22:52:43)
MaxCompute中使用OSS外部表读取JSON数据,
MaxCompute中使用OSS外部表读取JSON数据, 一、打开OSS,上传json文件 json文件内容展示: {"id":5644228109524316032,"sourceType":1}{"id":-736866360508848202,"sourceType":3} 二、登录DataWorks,建立外部表 建表语...(发布于2019-12-04 21:55:58)