hive实战,
hive实战, 1. 安装 hive 下载hive,下载地址http://mirror.bjtu.edu.cn/apache//hive/,解压该文件: xuqiang@ubuntu:~/hadoop/src/hive$ tar zxvf hive-0.7.0-bin.tar.gz 设置环境变量: xuqiang@ubuntu:~/hadoop/src/hive$ cd h...(发布于2019-11-20 22:08:47)
hive的问题,
hive的问题, 1.hive create table t_sz01(id int,name string); FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the...(发布于2019-11-20 22:08:44)
hive安装配置,
hive安装配置, requirement: Java 1.6 Hadoop 0.20.x. ref:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease 1)download hive http://hive.apache.org/releases.html...(发布于2019-11-20 22:08:40)
Hive文件格式,
Hive文件格式, 本文转载自:http://www.cnblogs.com/Richardzhu/p/3613661.html hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表时...(发布于2019-11-19 22:07:55)
hive 安装,
hive 安装, 前提,需要安装hadoop 2.7 与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也...(发布于2019-11-19 22:07:51)
hive bucket,
hive bucket, hive bucket hive中table可以拆分成partition,table和partition可以通过‘CLUSTERED BY ’进一步分bucket,bucket中的数据可以通过‘SORT BY’排序。 bucket主要作用: 1. 数据sampling 2. 提升某些...(发布于2019-11-19 22:07:47)
Hive QL,
Hive QL, create table insert load explain https://cwiki.apache.org/confluence/display/Hive/LanguageManual...(发布于2019-11-19 22:07:44)
Hive 表分区,
Hive 表分区, 基本知识: Hadoop:文件相关操作比如: hadoop fs -rmr 'hdfs://hdfs://192.168.8.101:8020/user/hive/warehouse'; hadoop fs -put ' /user/hive/warehouse/data.txt ' ' hdfs://hdfs://192.168.8.1...(发布于2019-11-19 22:07:40)
Hive问题,
Hive问题, # ?xml version="1.0" encoding="UTF-8" standalone="no"? ?xml-stylesheet type="text/xsl" href="configuration.xsl"? configuration property name javax.jdo.option.ConnectionURL / name value jdbc:mysql://localhost:3306/hive?createDa...(发布于2019-11-19 22:07:36)
Hive优化,
Hive优化, 1. hive group by distinct区别以及性能比较 https://blog.csdn.net/xiaoshunzi111/article/details/68484426 2. 用insert into替换union all 3. order by sort by 执行计划是什么 执行计划代表 HiveSQL 会转化...(发布于2019-11-19 22:07:32)
Hive体系结构,
Hive体系结构, Hive 体系结构 Hive 的结构如图所示 主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、...(发布于2019-11-19 22:07:28)
大数据----hive,
大数据----hive, 1.Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件 映射为一张数据库表,并提供类 SQL 查询功能。本质是将 SQL 转换为 MapReduce 程序。主要用途:用来做离...(发布于2019-11-19 22:07:24)
HIVE QL,
HIVE QL, https://cwiki.apache.org/confluence/display/Hive/HiveQL#HiveQL-Set%2Fgetsystemproperties...(发布于2019-11-19 22:07:20)
Hive安装配置,
Hive安装配置, 本文在查看别人的帖子上结合自己的进行修改。 默认情况下, Hive 元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试。为了支持多用户多会...(发布于2019-11-18 21:48:33)
hive的分区,
hive的分区, 表分区 • 分区列对应目录 • 作用:辅助查询,缩小查询范围,加快数据的检索速度和对数据按照一定的规格和条件进行管理 • 添加分区 alter table ods_cities add if not exist...(发布于2019-11-18 21:48:30)
hive基本理论,
hive基本理论,...(发布于2019-11-18 21:48:26)
Hive SQL,
Hive SQL, 目录 Hive数据类型 Hive表的类型 1.内部表 2.外部表 3.临时表 4.分区表 5.分桶表 视图 1.特点 2.语句 索引 数据读取规则 1.正则表达式 Hive数据类型 数据类型 注释 TINYINT -128 to 127 S...(发布于2019-11-18 21:48:22)
HIVE 安装文档,
HIVE 安装文档, 源代码下载可以从官网下载最新版hive:http://hive.apache.org/releases.html或者 由校内网维护的Apache下载镜像wget http://labs.renren.com/apache-mirror/hive/hive-0.7.0/hive-0.7.0.tar.gz 解压缩...(发布于2019-11-18 21:48:18)
hive性能优化,
hive性能优化, 一、 join 优化 Join 查找操作的基本原则: 应该将条目少的表 / 子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段,位于 Join 操作符左边的表的内...(发布于2019-11-18 21:48:14)
hive内置函数,
hive内置函数, hive的内部函数 1、取随机数函数:rand() 语法 : rand(),rand(int seed) 返回值 : double 说明 : 返回一个0到1范围内的随机数。如果指定seed,则会得到一个稳定的随机数序列 select...(发布于2019-11-18 21:48:10)