Hive优化,
Hive优化, Hive优化 1.explain关键字:hive优化实际上是hadoop的 map reduce 优化,首先我们需要知道一条sql语句执行了哪几个步骤,hive和传统关系数据库一样也有个执行计划,用explain关键字可...(发布于2019-12-15 22:07:33)
hive storage,
hive storage, hive show create table test_parquet; OK CREATE TABLE `test_parquet`( `name` string, `age` int) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.i...(发布于2019-12-15 22:07:29)
Hive常用函数,
Hive常用函数, 1 关系运算: 1.1 1、等值比较: = 1.2 2、不等值比较: 1.3 3、小于比较: 1.4 4、小于等于比较: = 1.5 5、大于比较: 1.6 6、大于等于比较: = 1.7 7、空值判断: IS NULL 1.8 8、非空判断:...(发布于2019-12-15 22:07:25)
hive数据导入,
hive数据导入, 可以通过多种方式将数据导入hive表 1.通过外部表导入 用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入external表...(发布于2019-12-15 22:07:21)
hive基本操作,
hive基本操作, 1. DDL 操作 1.1. 创建表 建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_...(发布于2019-12-14 22:51:16)
hive安装,
hive安装, https://blog.csdn.net/pucao_cug/article/details/71773665...(发布于2019-12-14 22:51:12)
hive指南,
hive指南, 译自:https://cwiki.apache.org/confluence/display/Hive/Tutorial hive是什么? hive是基于hadoop构建的数据仓库基础架构,通过提供一系列的工具,使得用户能够方便的做数据ETL,数据结构化...(发布于2019-12-14 22:51:08)
Hive数据导入,
Hive数据导入, 可以通过多种方式将数据导入hive表 1.通过外部表导入 用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入extern...(发布于2019-12-14 22:51:05)
hive内置函数,
hive内置函数, hive函数的查看 显示当前会话有多少函数可用 show functions ; 显示函数的描述信息 desc function '函数名' ; 聚合函数 求和 sum ( ) 计数 count ( ) 求平均直 avg ( ) 去重 distinct ( ) 求...(发布于2019-12-14 22:51:01)
hive安装配置,
hive安装配置, 前提条件:安装好相应版本的 Hadoop (可以参见《在Fedora上部署Hadoop2.2.0伪分布式平台》)、安装好JDK1.6或以上版本(可以参见《如何在Linux平台命令行环境下安装Java1.6》)...(发布于2019-12-14 22:50:57)
大数据,
大数据, 构建在Hadoop之上的 数据仓库, 数据计算使用MR,数据存储使用HDFS 由于数据计算使用mapreduce。因此通经常使用于进行离线数据处理 Hive 定义了一种类 SQL 查询语言——...(发布于2019-12-14 22:50:53)
hive 基本命令,
hive 基本命令, hive 启动 hivequit; --退出hive hive exit; --exit会影响之前的使用,所以需要下一句kill掉hadoop的进程 hadoop job -kill jobid hivecreate database database_name; 创建数据库 如果数据库已经存...(发布于2019-12-14 22:50:49)
hive jdbc,
hive jdbc, 登陆hive所在机器(172.2.2.12)启动Starting Hive Thrift Server 命令:bin/hive --service hiveserver -p 10001, hive --service hive server2 --hiveconf hive. server2 .thrift.port=10001 -p指定Thrift Thrift 端口,若...(发布于2019-12-14 22:50:45)
Hive简介,
Hive简介, Hive是构建在Hadoop HDFS上的一个数据仓库,本质就是一个数据库 Hadoop和hive都是基于Linux操作系统构建的 Hive可以用来进行数据提取转化加载(ETL) Hive定义了简单的类似SQL查询语言...(发布于2019-12-14 22:50:40)
HIVE自定义函数,
HIVE自定义函数, 转自:http://blog.csdn.net/zythy/article/details/18818559 当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-definedfunction)。 Hi...(发布于2019-12-13 22:10:49)
Hive 参数,
Hive 参数, 第一部分:Hive 参数 hive.exec.max.created.files •说明:所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition •说明:是否为自动分区•默认值:...(发布于2019-12-13 22:10:45)
Hive 高级编程,
Hive 高级编程, 第一部分:产生背景 产生背景 •为了满足客户个性化的需求,Hive被设计成一个很开放的系统,很多内容都支持用户定制,包括:•文件格式:Text File,Sequence File•内存...(发布于2019-12-13 22:10:41)
Hive简介,
Hive简介, Hive 加速Map/Reduce的开发 一篇Google的学术论文让Map/Reduce这个概念风靡全球,Hadoop是Apache对Map/Reduce这种分布式计算框架的开源实现,通过Hive我们能想执行SQL那样执行我们的Had...(发布于2019-12-13 22:10:37)
hive函数,
hive函数, 一、hive中的函数: (1)按功能分: UDF:USER DEFINE FUNCTION用户定义函数 输入一条数据 经过函数解析后 出来一条数据 double、 avg UDAF:user define aggregation function 用户定义聚合函数...(发布于2019-12-13 22:10:33)
hive编译错误,
hive编译错误, 编译师姐的hive,从cvs导出到本地的代码编译出错: D:\workspace\hive-0.4.0-dev_src\lib\jdo2-api-2.3-SNAPSHOT.jar 时出错;invalid CEN header (bad signature) 原因:因为cvs迁出代码是默认的...(发布于2019-12-13 22:10:29)