欢迎投稿

今日深度:

hive 执行计划,

hive 执行计划, Hive provides an EXPLAIN command that shows the execution plan for a query. The syntax for this statement is as follows: EXPLAIN [EXTENDED] query    hive explain SELECT a.bar, count(*) FROM invites a WHERE a.foo 0 GRO...(发布于2019-12-08 22:48:51)

hive创建表,

hive创建表, (1)创建(内部)表 hive create table table01(ts bigint,line string) ; (2)创建一个新表,复制表结构和数据 hive create table table02 as table01; hive create table table02 as select * from table01 lim...(发布于2019-12-08 22:48:47)

hive 使用教程,

hive 使用教程, 1. hive 介绍 hive是一个基于hadoop的数据仓库系统,提供一种机制把数据映射为结构化的table;  官方文档:https://cwiki.apache.org/confluence/display/Hive/Home#Home-ApacheHive 应用场景:...(发布于2019-12-08 22:48:43)

Hive 报错,

Hive 报错, Exception in thread "main" java.io.IOException: Mkdirs failed to create /home/xxxx/hadoop-2.5.2/tmp/hadoop-unjar7702715286734778579/META-INF at org.apache.hadoop.util.RunJar.ensureDirectory(RunJar.java:111) at org.apache.hado...(发布于2019-12-08 22:48:39)

hive实战,

hive实战, http://www.cnblogs.com/xuqiang/archive/2011/06/15/2081796.html...(发布于2019-12-08 22:48:30)

hive join,

hive join, hive(0.9.0): 1.支持equality joins, outer joins, and left semi joins 2.只支持等值条件 3.支持多表join 原理 hive执行引擎会将HQL“翻译”成为map-reduce任务,如果多张表使用同一列做join则将被...(发布于2019-12-07 22:06:25)

hive和hbase,

hive和hbase, hive和hbase关系:https://www.zhihu.com/question/21677041...(发布于2019-12-07 22:06:20)

hive配置详解,

hive配置详解, hive中有许多配置将帮助我们提升性能,其详细配置如下:   1、hive.auto.convert.join  默认值为true 是否根据输入小表的大小,自动将 Reduce 端的 Common Join 转化为 Map Join,从...(发布于2019-12-07 22:06:17)

Hive安装,

Hive安装, 具体参考Hive Getting Started 0 前置条件 Linux :CentOS/Ubuntu JDK 已安装 Hadoop 已安装 1 安装tarball,配置环境变量 $ tar -xzvf hive-*-.tar.gz $vim /etc/profile 后者 vim ~/.bashrc 添加 export HIVE_HO...(发布于2019-12-07 22:06:12)

Hive环境搭建,

Hive环境搭建,   Hive环境搭建 一、软件环境配置 1、 VM:VMware-workstationl-v7.1.4 2、 OS:ubuntu-11.04 3、 JDK:jdk1.6.0_27 4、 Hadoop:hadoop-0.20.2 5、 DB:mysql-5.0.22 二、Hive安装配置 1、 下载Hive:...(发布于2019-12-07 22:06:08)

Hive学习笔记,

Hive学习笔记, 1.创建表,并设置数据格式,以'|'进行分隔. create table hwz2(id int, name string ) partitioned by (ds string) row format delimited FIELDS TERMINATED BY '|'; 2.从本地插入数据 load data local inpath '...(发布于2019-12-07 22:06:05)

HIVE GenericeUDF------row_number,

HIVE GenericeUDF------row_number, HIVE的row_number函数,类似于Oracle的ROW_NUMBER函数,实现在HIVE跑Map/Reduce的Reduce过程中取行号,一般应用于Sort By,Order By 具体代码如下:   import org.apache.commons....(发布于2019-12-07 22:06:01)

Hive索引,

Hive索引, 一、Hive Index具体实现 索引是标准的数据库技术,hive 0.7版本之后支持索引。 hive索引采用的不是'one size fites all'的索引实现方式,而是提供插入式接口,并且提供一个具体的索...(发布于2019-12-07 22:05:57)

hive wiki-Syntax,

hive wiki-Syntax, 写hivesql这么久,一直在看别人的博客,而官网wiki确没有去看,放弃了最权威的知识,今天开始用1周的早晨把wiki看完 1、buckt:桶 It is also a good idea to bucket the tables on ce...(发布于2019-12-07 22:05:52)

Hive 安装,

Hive 安装, 1:安装计划 hadoop1:  121.248.50.155  (hadoop2.2.0 namenode) hadoop2: 121.248.48.101   (hive0.11.0 client) hadoop3:     121.248.52.30  (MySQL server + hive metastore service) hadoop2.2.0的安装目录/app/hado...(发布于2019-12-07 22:05:47)

hive 入门,

hive 入门, hive select * from ljh_emp;OKTime taken: 0.145 secondshive load data local inpath '/usr/local/hive/yc_test/test' into table ljh_emp;Copying data from file:/usr/local/hive/yc_test/testCopying file: file:/usr/local/hive/yc_test...(发布于2019-12-06 22:50:30)

Hive 查询,

Hive 查询, HIVE是一个数据仓库系统,这就意味着它可以不支持普通数据库的CRUD操作。CRUD应该在导入HIVE数据仓库前完成。 而且鉴于 hdfs 的特点,其并不能高效的支持流式访问,访问都是...(发布于2019-12-06 22:50:26)

Hive运行,

Hive运行, Hive 是什么之类的就不说了。下面说说简单的安装过程。 其实和hadoop很类似,毕竟是一家人嘛。 1. 下载,解压 apache-hive-1.2.1-bin.tar.gz (这是本人用的版本)        tar -zxvf ...(发布于2019-12-06 22:50:22)

Hive安装…,

Hive安装…, Hive安装    mysql使用主机(win7)上的mysql数据库,启动后,要关闭360和win7自带的防火墙,确保在虚拟机里能拼通主机**************************************************    D:\server\mysql-5...(发布于2019-12-06 22:50:18)

Hive优化,

Hive优化, Hive优化 1.列裁剪:列裁剪的设置为hive.optimize.cp,默认为true 2.分区裁剪:分区裁剪的配置为hive.optimize.pruner,默认为true 3.join:对于一条语句中有多个join的情况,当join的条件相同...(发布于2019-12-06 22:50:15)