欢迎投稿

今日深度:

hive 外部表,

hive 外部表, 1.创建 外表                                                    hive create external table bbb (id int,name string) row format delimited fields terminated by '  '  location '/bbb';  2.此时表...(发布于2019-11-22 22:07:07)

hive on tez踩坑记1-hive0.13 on tez,

hive on tez踩坑记1-hive0.13 on tez,  最近集群准备升级到cdh5.2.0,并使用tez,在测试集群cdh5.2.0已经稳定运行了很长时间,因此开始折腾hive on tez了,期间遇到不少问题,这里记录下。 hive...(发布于2019-11-22 21:50:24)

hive 常用命令,

hive 常用命令, 建表: create table b (id int,name string) row format DELIMITED  FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'  STORED AS SEQUENCEFILE; load data local inpath '/tmp/test1' into table a; ALTER TABLE a CHANGE id...(发布于2019-11-21 22:08:26)

大数据之Hive,

大数据之Hive, 6.4 Join 语句 6.4.1  等值 Join Hive 支持通常的 SQL JOIN 语句,但是 只支持等值连接,不支持非等值连接。 案例实操 ( 1 )根据员工表和部门表中的部门编号相等,查询员工...(发布于2019-11-21 22:08:22)

Hive 分区表,

Hive 分区表, 制造数据: for i in $(seq 50)do echo -e "$(date -d "$RANDOM minute ago" +%F' '%T'.'%N)"done|sort -nk1|awk '{print NR"\t"$0}'/tmp/order_created.txt CREATE TABLE order_created_partition( order_number string, event_time...(发布于2019-11-21 22:08:18)

Hive优化,

Hive优化, Hive 优化 核心思想:把Hive SQL 当做Mapreduce程序去优化 以下SQL不会转为Mapreduce来执行 select仅查询本表字段 where仅对本表字段做条件过滤 Explain 显示执行计划 EXPLAIN [EXTENDED] que...(发布于2019-11-21 22:08:14)

TPC-H on Hive,

TPC-H on Hive, 1)下载TPC-H的代码,用来生成所需要的数据   http://www.tpc.org/tpch/spec/tpch_2_8_0.zip 或者   http://www.tpc.org/tpch/default.asp        右边栏   两版本略有不同 4)然后在tpch文件目录...(发布于2019-11-21 22:08:10)

hive初体验,

hive初体验, 1.进入hive 启动zk,然后启动hdfs和yarn。在一台节点启动hive的服务端,服务端启动的命令是: /export/servers/hive-1.2.2/bin/hiveserver2   修改在客户端机子的配置文件,文件在/expo...(发布于2019-11-21 22:08:06)

Hive 分区表,

Hive 分区表, 1 、 什么是分区表 一个表按照某个或某些字段进行分区的表 2、 为什么要用分区表 如果一个hive表没有分区,在查询数据的时候,会进行全表扫描的动作,非常的耗费资源...(发布于2019-11-21 22:08:02)

hive笔记,

hive笔记, 注意: 1、hive和sql一样是大小写不敏感的,因此对于SHOW TABLES;和show tables;命令效果是一样的 2、hive -f script.q可以用来执行包含命令的脚本文件       hive -e ‘select * from dum...(发布于2019-11-21 22:07:59)

Hive的安装,

Hive的安装, Hive只需在使用节点安装即可。 1.上传tar包、解压   tar -zxvf apache-hive-0.13.0-bin.tar.gz -C /hadoop/   配置HIVE_HOME环境变量   /etc/profile 2.安装mysql   rpm -qa | grep mysql   rpm -e mysql-li...(发布于2019-11-21 22:07:55)

hive操作,

hive操作, 启动hive服务 1:使用服务的形式启动hive nohup hiveserver2 /dev/null 21 2:链接方式 nohup hiveserver2 1:beenline hive --service beeline !connect jdbc:hive2://hdp2:10000 root 123456 2:beeline -u jdbc:hive2://hd...(发布于2019-11-21 22:07:51)

Hive之 hive的三种使用方式(CLI、HWI、Thrift),

Hive之 hive的三种使用方式(CLI、HWI、Thrift), Hive有三种使用方式——CLI命令行,HWI(hie web interface)浏览器 以及 Thrift客户端连接方式。 1、hive  命令行模式 直接输入/hive/bin/hive的执行...(发布于2019-11-21 21:51:25)

【Hive】变量,

【Hive】变量, 一、命名空间 Hive的命名空间:hiveconf,system,env,hivevar 二、变量 hive变量以java字符串的形式存储,在cli中执行 Hive 的 SQL 语句时,如果 SQL 语句中包含有变量,hive 会先...(发布于2019-11-20 22:09:14)

hive mysql,

hive mysql, 一、 cd /hive/bin ./hive create database test ; show databases ; ../hive/bin/hive show databases; 为空 创建的数据结果存放在 metastore.db 中 会检索当前目录中metastore.db存放的 信息 第二种启动方式...(发布于2019-11-20 22:09:11)

Hive学习笔记,

Hive学习笔记, 关于O'Reilly的《Programming Hive》的学习笔记 一、数据类型 1.基本类型 tinyint、smallint、int、bigint、boolean、float、double、string、timestamp、binary 和其他数据库一样,都是大小写...(发布于2019-11-20 22:09:07)

hive数据导出,

hive数据导出, 很多时候,我们在hive中执行select语句,希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中,hive提供了方便的关键词,来实现上面所述的功...(发布于2019-11-20 22:09:03)

Hive 教程,

Hive 教程, 教程: http://wiki.apache.org/hadoop/Hive/LanguageManual/DDL http://www.tbdata.org/archives/499...(发布于2019-11-20 22:08:59)

hive严格模式,

hive严格模式, hive严格模式 hive提供了一个严格模式,可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格 模式下无法执行。通过设置hive.mapred.mode的值为...(发布于2019-11-20 22:08:55)

hive的优化,

hive的优化, 一:hadoop框架的特征:     1,不怕数据量大,就怕数据倾斜     2,Jobs 数比较多的作业运行效率相对比较低,如子查询比较多     3,sum,count,max,min 等聚集函数,通常不会有数...(发布于2019-11-20 22:08:51)