hive操作,
hive操作, 1.视图 ①概念 视图里存放的是一组SQL语句,通过执行这组SQL语句可以得到相应的结果。视图并不是直接存放结果,而是存放了SQL语句,当用到时,就会执行。是一个懒加...(发布于2019-12-03 22:07:12)
hive 小记,
hive 小记, hive 小记 hive hadoop hdfs 测试环境 centos6.5 64bit hadoop-2.5.2 hive-0.14 udf引入第三方lib包 将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量: export HIVE_AUX_JARS_PAT...(发布于2019-12-03 22:07:08)
hive Context,
hive Context, Driver: public int compile(String command) { ctx = new Context(conf); // } public Context(Configuration conf) throws IOException { this(conf, generateExecutionId()); } /** * Generate a unique executionId. An executionId, t...(发布于2019-12-03 22:07:04)
Hive数据操作,
Hive数据操作, 1.向数据表中加载文件 当数据被加载到表时,不会对数据进行任何变换,LOAD操作只是将数据 复制 到Hive表对应的位置。 代码: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO...(发布于2019-12-03 22:07:00)
hive安装,
hive安装, http://blog.csdn.net/hguisu/article/details/7282050 hadoop、hbase的安装见前面的文章 下面是hive的安装 1、下载 http://mirror.bit.edu.cn/apache/hive/stable/ Hadoop Hive与Hbase整合 一 、简介 Hive是基于...(发布于2019-12-03 22:06:56)
Hive限制,
Hive限制, 1.更新,事务,索引,不支持,是全表扫描 2.创建表的字段类型和java类型是对应的。不支持日期类型,提供转换为字符串类型的函数。 3.查询语句中,不支持having,可写嵌套...(发布于2019-12-03 22:06:53)
hive基础,
hive基础, 1.Hive 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。 本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中...(发布于2019-12-03 22:06:49)
hive安装,
hive安装, http://blog.csdn.net/hguisu/article/details/7282050 hadoop、hbase的安装见前面的文章 下面是hive的安装 1、下载 http://mirror.bit.edu.cn/apache/hive/stable/ Hadoop Hive与Hbase整合 一 、简介 Hive是基于...(发布于2019-12-03 22:06:45)
Hive 压缩,
Hive 压缩, 压缩优点 省空间 网络传输快 降低IO 压缩缺点 CPU负载增加 如果不支持分割,并行度低 常用压缩 名称 code 压缩 压缩时间 解压时间 是否支持分割 Snappy org.apache.hadoop.io.compre...(发布于2019-12-03 22:06:41)
hive环境搭建,
hive环境搭建, hive环境搭建相比较其他组件而言,很简单 1安装mysql (如果机器自带可以省略该步骤) [root@localhost hive-x.x.x]# yum install mysql mysql-server mysql-devel 设置mysql配置文件/etc/my.c...(发布于2019-12-03 22:06:36)
Hive的优化,
Hive的优化, 该博客已经完全转移到http://sunhs.me 中并增加更多新的技术内容(hadoop为 主),欢迎访问! 1.列裁剪 查询时我只关心用到的那几个列。 需要设置:hive.optimize....(发布于2019-12-02 22:52:50)
Hive 架构,
Hive 架构, Hive 架构 图上显示了Hive的主要组件以及与Hadoop的关系。如图所示,Hive的主要部件是: UI 用户提交查询和其他的操作。当前系统有一个命令行的接口和基于Web的的GUI Driver 接...(发布于2019-12-02 22:52:46)
Hive的文件格式,
Hive的文件格式, 本文转载自:http://www.cnblogs.com/Richardzhu/p/3613661.html hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表...(发布于2019-12-02 22:52:42)
hive建表,
hive建表, hive分内部表和外部表 create table xxx( logtime string , traceid string , param string , result string , runtime string ) partitioned by ( logday string ) row format delimited fields terminated by '\t'collection it...(发布于2019-12-02 22:52:39)
Hive的安装,
Hive的安装, Hive是运行在Hadoop上的,因此在之前还必须安装好Hadoop。这儿有版本对应问题,我装的Hadoop2.2.0+Hive1.2.1。 Hive安装: 首先是MYSQL的安装: hive内置数据库是Derby,这是存放元数据...(发布于2019-12-02 22:52:35)
hive 学习,
hive 学习, hive在执行过程中是分多个stage执行的,stage越少效率越高,因此我们需要减少join的数量,优化hql 注意点:不能再where语句中使用列别名 join优化: 1.hive在对每行记录进行连接...(发布于2019-12-02 22:52:31)
Hive 架构,
Hive 架构, 下面是Hive的架构图。 Hive的体系结构可以分为以下几部分 (1)用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Cli...(发布于2019-12-02 22:52:27)
【Hive】 常用方法,
【Hive】 常用方法, 1.字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive select length(‘abcedfg’) from lxw_dual; 7 2. 字符串反转函数:reverse 语法:...(发布于2019-12-02 22:52:23)
HIVE的模板,
HIVE的模板, HIVE的使用模板 1、显示所有数据库 show databases ; 2、显示数据库所有的表 use mydatabase ; show tables ; 3、查询表中的内容 select * from mytable ; 4、显示表的结构 desc mytable ; 5、创建数...(发布于2019-12-02 22:52:19)
Hive doc,
Hive doc, https://cwiki.apache.org/confluence/display/Hive/GettingStarted Table of Contents Hive introduction videos From Cloudera Installation and Configuration Requirements Installing Hive from a Stable Release Building Hive from Source...(发布于2019-12-02 22:52:15)