欢迎投稿

今日深度:

Hive优化,

Hive优化, Hive优化 1.explain关键字:hive优化实际上是hadoop的 map reduce 优化,首先我们需要知道一条sql语句执行了哪几个步骤,hive和传统关系数据库一样也有个执行计划,用explain关键字可...(发布于2019-12-15 22:07:33)

hive storage,

hive storage, hive show create table test_parquet; OK CREATE TABLE `test_parquet`( `name` string, `age` int) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.i...(发布于2019-12-15 22:07:29)

Hive常用函数,

Hive常用函数, 1 关系运算: 1.1 1、等值比较: = 1.2 2、不等值比较: 1.3 3、小于比较: 1.4 4、小于等于比较: = 1.5 5、大于比较: 1.6 6、大于等于比较: = 1.7 7、空值判断: IS NULL 1.8 8、非空判断:...(发布于2019-12-15 22:07:25)

hive数据导入,

hive数据导入, 可以通过多种方式将数据导入hive表 1.通过外部表导入 用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入external表...(发布于2019-12-15 22:07:21)

hive基本操作,

hive基本操作, 1. DDL 操作 1.1. 创建表 建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_...(发布于2019-12-14 22:51:16)

hive安装,

hive安装, https://blog.csdn.net/pucao_cug/article/details/71773665...(发布于2019-12-14 22:51:12)

hive指南,

hive指南, 译自:https://cwiki.apache.org/confluence/display/Hive/Tutorial hive是什么? hive是基于hadoop构建的数据仓库基础架构,通过提供一系列的工具,使得用户能够方便的做数据ETL,数据结构化...(发布于2019-12-14 22:51:08)

Hive数据导入,

Hive数据导入,   可以通过多种方式将数据导入hive表 1.通过外部表导入 用户在hive上建external表,建表的同时指定hdfs路径,在数据拷贝到指定hdfs路径的同时,也同时完成数据插入extern...(发布于2019-12-14 22:51:05)

hive内置函数,

hive内置函数, hive函数的查看 显示当前会话有多少函数可用 show functions ; 显示函数的描述信息 desc function '函数名' ; 聚合函数 求和 sum ( ) 计数 count ( ) 求平均直 avg ( ) 去重 distinct ( ) 求...(发布于2019-12-14 22:51:01)

hive安装配置,

hive安装配置, 前提条件:安装好相应版本的 Hadoop (可以参见《在Fedora上部署Hadoop2.2.0伪分布式平台》)、安装好JDK1.6或以上版本(可以参见《如何在Linux平台命令行环境下安装Java1.6》)...(发布于2019-12-14 22:50:57)

大数据,

大数据, 构建在Hadoop之上的 数据仓库, 数据计算使用MR,数据存储使用HDFS         由于数据计算使用mapreduce。因此通经常使用于进行离线数据处理 Hive 定义了一种类 SQL 查询语言——...(发布于2019-12-14 22:50:53)

hive 基本命令,

hive 基本命令, hive 启动 hivequit; --退出hive hive exit; --exit会影响之前的使用,所以需要下一句kill掉hadoop的进程 hadoop job -kill jobid hivecreate database database_name; 创建数据库 如果数据库已经存...(发布于2019-12-14 22:50:49)

hive jdbc,

hive jdbc, 登陆hive所在机器(172.2.2.12)启动Starting Hive Thrift Server 命令:bin/hive --service hiveserver -p 10001, hive --service hive server2  --hiveconf hive. server2 .thrift.port=10001 -p指定Thrift Thrift 端口,若...(发布于2019-12-14 22:50:45)

Hive简介,

Hive简介, Hive是构建在Hadoop HDFS上的一个数据仓库,本质就是一个数据库 Hadoop和hive都是基于Linux操作系统构建的 Hive可以用来进行数据提取转化加载(ETL) Hive定义了简单的类似SQL查询语言...(发布于2019-12-14 22:50:40)

HIVE自定义函数,

HIVE自定义函数, 转自:http://blog.csdn.net/zythy/article/details/18818559 当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-definedfunction)。 Hi...(发布于2019-12-13 22:10:49)

Hive 参数,

Hive 参数, 第一部分:Hive 参数 hive.exec.max.created.files •说明:所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000  hive.exec.dynamic.partition •说明:是否为自动分区•默认值:...(发布于2019-12-13 22:10:45)

Hive 高级编程,

Hive 高级编程, 第一部分:产生背景 产生背景 •为了满足客户个性化的需求,Hive被设计成一个很开放的系统,很多内容都支持用户定制,包括:•文件格式:Text File,Sequence File•内存...(发布于2019-12-13 22:10:41)

Hive简介,

Hive简介, Hive 加速Map/Reduce的开发 一篇Google的学术论文让Map/Reduce这个概念风靡全球,Hadoop是Apache对Map/Reduce这种分布式计算框架的开源实现,通过Hive我们能想执行SQL那样执行我们的Had...(发布于2019-12-13 22:10:37)

hive函数,

hive函数, 一、hive中的函数: (1)按功能分: UDF:USER DEFINE FUNCTION用户定义函数 输入一条数据 经过函数解析后 出来一条数据 double、 avg UDAF:user define aggregation function 用户定义聚合函数...(发布于2019-12-13 22:10:33)

hive编译错误,

hive编译错误,  编译师姐的hive,从cvs导出到本地的代码编译出错: D:\workspace\hive-0.4.0-dev_src\lib\jdo2-api-2.3-SNAPSHOT.jar 时出错;invalid CEN header (bad signature)   原因:因为cvs迁出代码是默认的...(发布于2019-12-13 22:10:29)