欢迎投稿

今日深度:

Hive II,

Hive II, Hive 数据仓库。OLAP(online analyze process)hdfs元数据关系型数据中。 Hive执行流程 cli交互driverdriver通过编译器进行编译(语法解析和语义解析)编译器查询metastore进行编译,生成计划。...(发布于2020-01-31 22:51:15)

Hive基本操作,

Hive基本操作, 1.概述 上一章《那些年使用Hive踩过的坑》介绍了Hive的基本架构及原理,加下来介绍Hive的基本操作和一些注意事项。 2.基本操作 2.1Create Table 2.1.1介绍  CREATE TABLE 创建一...(发布于2020-01-31 22:51:11)

Impala 与Hive,

Impala 与Hive, Impala 与Hive都是构建在Hadoop之上的数据查询工具,但是各有不同侧重,那么我们为什么要同时使用这两个工具呢?单独使用Hive或者Impala不可以吗? 一、介绍Impala和Hive (1)Impa...(发布于2020-01-31 22:51:04)

hive gropingsets,

hive gropingsets, SELECT   A,  B, C, D, sum(D) FROM T GROUP BY A,B,C,D GROUPING SETS ((A,B,C,D),(A,B,D)) 等价于 SELECT   A,  B, C, D, sum(D) FROM T GROUP BY A,B,C,D UNION ALL SELECT   A,  B, D, sum(D) FROM T GROUP BY A,B,D...(发布于2020-01-30 22:51:52)

数据分析系统Hive,

数据分析系统Hive, Hive概述        Hive是由facebook开源,最初用于解决海量结构化的日志数据统计问题。其是构建在Hadoop之上的数据仓库。数据计算使用MR,数据存储使用HDFS。Hive 定义...(发布于2020-01-30 22:51:48)

hive—— 2014.7.1,

hive—— 2014.7.1, 1.Distinct 使用 Hive支持在group by时对同一列进行多次distinct操作,却不支持在同一个语句中对多个列进行distinct操作。 2.join优化 Join查找操作的基本原则:应该将条目少的...(发布于2020-01-30 22:51:45)

Hive命令,

Hive命令, 1.进入命令行     hive     hive --service cli     quit/exit退出 2.清屏     Ctrl + L 或 ! clear 3.查看数据仓库中的表     show tables; 4.查看数据仓库中内置函数     show functions; 5.查看表...(发布于2020-01-30 22:51:40)

hive安装配置,

hive安装配置, hive版本1.2.1 操作系统: Ubuntu 14.04 下载,解包,文件夹名为hive-1.2.1,名字可以随便改,按自己习惯。 放到安装目录下,这里为/usr/local/hive,则目录结构为/usr/local/hive/hiv...(发布于2020-01-30 22:51:37)

hive日期函数,

hive日期函数, 无论做什么数据,都离不开日期函数的使用。 这里转载一下Hive的日期函数的使用,写的相当完整。   日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint un...(发布于2020-01-30 22:51:33)

Hive安装配置,

Hive安装配置, Hive安装( apache-hive-0.13.1-bin.tar.gz ):  1.vi hive-env.sh      48 HADOOP_HOME=/usr/local/hadoop      51 export HIVE_CONF_DIR=/usr/local/hive/conf  2.在hdfs中添加目录 [root@master hadoop]#hdfs dfs...(发布于2020-01-30 22:51:29)

Hive架构,

Hive架构, [toc] 概念 按照官网翻译,Hive是一个使用SQL管理和使用基于分布式存储的数据集的数据仓库工具软件。注意形容词知道了几个特点: Hive的组件包括HCatalog和WebHCat。 HCatalog是...(发布于2020-01-30 22:51:25)

hive的基本操作,

hive的基本操作, 1.DDL 数据库相关操作 Hive配置单元包含一个名为 default 默认的数据库. create database [if not exists] database name;---创建数据库 显示库 show databases; --显示所有数据库 删除数据...(发布于2020-01-30 22:51:21)

Hive安装配置,

Hive安装配置, 说明        hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。...(发布于2020-01-30 22:51:16)

hive 表连接,

hive 表连接, http://shiyanjun.cn/archives/588.html   生成一个MR Job 多表连接,如果多个表中每个表都使用同一个列进行连接(出现在JOIN子句中),则只会生成一个MR Job,例如: 1 SELECT   a.va...(发布于2020-01-29 22:56:16)

Hive 使用,

Hive 使用, 使用技巧:  1, 多insert 查询注意         1.1 多insert 加where 条件时会导致数据不准确                 例: from (select a, b ,c from t0) tmp                       insert overwri...(发布于2020-01-29 22:56:12)

hive分区,

hive分区, 原文:https://www.cnblogs.com/yongjian/archive/2017/03/29/6640951.html Hive分区的概念与传统关系型数据库分区不同。 传统数据库的分区方式:就oracle而言,分区独立存在于段里,里面存储...(发布于2020-01-29 22:56:08)

Hive原理,

Hive原理, Hive 不是 一个关系数据库 一个设计用于联机事务处理(OLTP) 实时查询和行级更新的语言 Hiver特点 它存储架构在一个数据库中并处理数据到HDFS。 它是专为OLAP设计。 它提供...(发布于2020-01-29 22:56:04)

hive基本操作,

hive基本操作, Hive基本操作与案例 create database testdb2; use testdb2; create table emp( empno int, empname string, job string, mgr int, hiredate string, salary double, comm double, deptno int) row format delimited fields termi...(发布于2020-01-29 22:56:00)

HIVE查询,

HIVE查询, 查询的一些例子: 1.query hive SELECT name, subordinates[0] FROM employees; John Doe Mary Smith Mary Smith Bill King Todd Jones NULL 2.expression hive SELECT upper(name), salary, deductions["Federal Taxes"], round(salar...(发布于2020-01-29 22:55:56)

hive调优,

hive调优, 一、    控制hive任务中的map数:  1.    通常情况下,作业会通过input的目录产生一个或者多个map任务。  主要的决定因素有: input的文件总个数,input的文件大小,集群设置...(发布于2020-01-29 22:55:52)