欢迎投稿

今日深度:

hive实战,

hive实战, 1. 安装 hive 下载hive,下载地址http://mirror.bjtu.edu.cn/apache//hive/,解压该文件: xuqiang@ubuntu:~/hadoop/src/hive$ tar zxvf hive-0.7.0-bin.tar.gz 设置环境变量: xuqiang@ubuntu:~/hadoop/src/hive$ cd h...(发布于2019-11-20 22:08:47)

hive的问题,

hive的问题, 1.hive create table t_sz01(id int,name string); FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the...(发布于2019-11-20 22:08:44)

hive安装配置,

hive安装配置, requirement:     Java 1.6     Hadoop 0.20.x. ref:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease 1)download hive http://hive.apache.org/releases.html...(发布于2019-11-20 22:08:40)

Hive文件格式,

Hive文件格式, 本文转载自:http://www.cnblogs.com/Richardzhu/p/3613661.html hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表时...(发布于2019-11-19 22:07:55)

hive 安装,

hive 安装, 前提,需要安装hadoop 2.7 与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也...(发布于2019-11-19 22:07:51)

hive bucket,

hive bucket, hive bucket hive中table可以拆分成partition,table和partition可以通过‘CLUSTERED BY ’进一步分bucket,bucket中的数据可以通过‘SORT BY’排序。 bucket主要作用: 1. 数据sampling 2. 提升某些...(发布于2019-11-19 22:07:47)

Hive QL,

Hive QL, create table insert load explain https://cwiki.apache.org/confluence/display/Hive/LanguageManual...(发布于2019-11-19 22:07:44)

Hive 表分区,

Hive 表分区, 基本知识:     Hadoop:文件相关操作比如:      hadoop fs -rmr 'hdfs://hdfs://192.168.8.101:8020/user/hive/warehouse';      hadoop fs -put ' /user/hive/warehouse/data.txt ' ' hdfs://hdfs://192.168.8.1...(发布于2019-11-19 22:07:40)

Hive问题,

Hive问题, # ?xml version="1.0" encoding="UTF-8" standalone="no"? ?xml-stylesheet type="text/xsl" href="configuration.xsl"? configuration property name javax.jdo.option.ConnectionURL / name value jdbc:mysql://localhost:3306/hive?createDa...(发布于2019-11-19 22:07:36)

Hive优化,

Hive优化, 1. hive group by distinct区别以及性能比较 https://blog.csdn.net/xiaoshunzi111/article/details/68484426 2. 用insert into替换union all 3. order by sort by    执行计划是什么 执行计划代表 HiveSQL 会转化...(发布于2019-11-19 22:07:32)

Hive体系结构,

Hive体系结构, Hive 体系结构 Hive 的结构如图所示 主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、...(发布于2019-11-19 22:07:28)

大数据----hive,

大数据----hive, 1.Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件 映射为一张数据库表,并提供类 SQL 查询功能。本质是将 SQL 转换为 MapReduce 程序。主要用途:用来做离...(发布于2019-11-19 22:07:24)

HIVE QL,

HIVE QL, https://cwiki.apache.org/confluence/display/Hive/HiveQL#HiveQL-Set%2Fgetsystemproperties...(发布于2019-11-19 22:07:20)

Hive安装配置,

Hive安装配置, 本文在查看别人的帖子上结合自己的进行修改。 默认情况下, Hive 元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试。为了支持多用户多会...(发布于2019-11-18 21:48:33)

hive的分区,

hive的分区, 表分区 • 分区列对应目录 • 作用:辅助查询,缩小查询范围,加快数据的检索速度和对数据按照一定的规格和条件进行管理 • 添加分区 alter table ods_cities add if not exist...(发布于2019-11-18 21:48:30)

hive基本理论,

hive基本理论,...(发布于2019-11-18 21:48:26)

Hive SQL,

Hive SQL, 目录 Hive数据类型 Hive表的类型 1.内部表 2.外部表 3.临时表 4.分区表 5.分桶表 视图 1.特点 2.语句 索引 数据读取规则 1.正则表达式 Hive数据类型 数据类型 注释 TINYINT -128 to 127 S...(发布于2019-11-18 21:48:22)

HIVE 安装文档,

HIVE 安装文档, 源代码下载可以从官网下载最新版hive:http://hive.apache.org/releases.html或者 由校内网维护的Apache下载镜像wget http://labs.renren.com/apache-mirror/hive/hive-0.7.0/hive-0.7.0.tar.gz 解压缩...(发布于2019-11-18 21:48:18)

hive性能优化,

hive性能优化, 一、 join 优化 Join 查找操作的基本原则: 应该将条目少的表 / 子查询放在  Join  操作符的左边。原因是在  Join  操作的  Reduce  阶段,位于  Join  操作符左边的表的内...(发布于2019-11-18 21:48:14)

hive内置函数,

hive内置函数, hive的内部函数 1、取随机数函数:rand() 语法 : rand(),rand(int seed) 返回值 : double 说明 : 返回一个0到1范围内的随机数。如果指定seed,则会得到一个稳定的随机数序列 select...(发布于2019-11-18 21:48:10)