hive的jdbc,
hive的jdbc, 原文地址:http://blog.csdn.net/nsrainbow/article/details/43002387 最新课程请关注原作者博客,获得更好的显示体验 声明 本文基于Centos 6.x CDH 5.x 说到Hive就一定要说到写程序的时候怎么...(发布于2020-01-23 22:54:43)
Hive安装,
Hive安装, hive 安装 http://www.open-open.com/lib/view/open1330908496483.html hive安装配置 可安装集群任意节点上 tar -xf hive-x.y.z.tar.gz(本次安装为hive-0.8.1.tar.gz) 将解压后的hive-0.8.1文件放在系统...(发布于2020-01-23 22:54:39)
Hive 文件格式,
Hive 文件格式, hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据...(发布于2020-01-23 22:54:32)
hive join,
hive join, hive(0.9.0): 1.支持equality joins, outer joins, and left semi joins 2.只支持等值条件 3.支持多表join 原理 hive执行引擎会将HQL“翻译”成为map-reduce任务,如果多张表使用同一列做join则将被...(发布于2020-01-22 22:56:03)
HIVE优化,
HIVE优化, Hive优化总结 1、整体架构优化 现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。...(发布于2020-01-22 22:55:59)
Hive 命令,
Hive 命令, 1. hive - e “select * from A where createtime='2014-09-22' ” 2.desc tablename 查看表结构 3.show tables like '*user*' 查找到 包含user的table...(发布于2020-01-22 22:55:55)
hive udf,
hive udf, 流程 Reference https://blog.csdn.net/Gavin_chun/article/details/78169317...(发布于2020-01-22 22:55:51)
hive错误记录,
hive错误记录, 系统环境: hadoop CDH3u2 hive 0.71 3u4 错误1 使用默认的derby数据库,当查询数据库的时候,比如使用 show tables,报错如下: 写道FAILED: Error in metadata: javax.jdo.JDOFatalDataSto...(发布于2020-01-22 22:55:47)
Hive的表,
Hive的表, Hive中表的类型: 1.内部表(受控表):当删除内部表时,HDFS上的数据以及元数据都会被删除 2.外部表:当除外部,HDFS上的数据不会被删除但是元数据会被删除 3.临时表(测试...(发布于2020-01-22 22:55:44)
hive 表分区,
hive 表分区, set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.dynamic.partitions.pernode=50000; set hive.exec.dynamic.partitions.partitions=50000; set hive.exec.max.c...(发布于2020-01-22 22:55:40)
hive调优,
hive调优, hive大数据倾斜总结:点击链接 Hive的map和reduce数调整:原文链接 https://yq.aliyun.com/articles/59635 一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一...(发布于2020-01-22 22:55:36)
优化HIVE,
优化HIVE, 1、提前过滤数据,减少中间数据依赖: 尽量尽早的过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的数据。 如下,改写后的写法将会大大...(发布于2020-01-22 22:55:32)
hive数据迁移,
hive数据迁移, HDFS迁移 拷贝单个目录或文件 网络互通的两个Hadoop集群中,可执行如下命令,将nn1节点所在集群A上目录a.dir拷贝到nn2节点所在集群B目的b.dir上 hadoop distcp -i hdfs://nn1:8020/...(发布于2020-01-22 22:55:23)
hive部署,
hive部署, 前几天部署了个hive,感觉挺简单,稍微记录下。 环境:hadoop,hbase都已经装过了,只需要装个mysql就可以装hive了mysql和hive不是必须要装到hadoop master或datanode节点的只要在你部署...(发布于2020-01-22 05:10:25)
Hive Cli,
Hive Cli, Hive Cli = hive启动 = *$ hive –f script.q *$ hive -e 'SELECT * FROM dummy‘ *$ hive -S -e 'SELECT * FROM dummy‘ *$ hive -hiveconf hive.root.logger=DEBUG,console = set = *hive SET hive.enforce.bucketing...(发布于2020-01-22 05:10:21)
hive字符串函数,
hive字符串函数, hive字符串函数 1. 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例:hive select length('abcedfg') from lxw_dual; 7 2. 字符串反转函数:rever...(发布于2020-01-22 05:10:17)
Hive入门,
Hive入门, 一、Hive的数据类型 复杂数据类型 时间类型 二、Hive的数据模型 分区表 创建分区表: create table partition_table(id int,name string) partitioned by (gender string) row format delimited fields termi...(发布于2020-01-22 05:10:13)
hive 的安装,
hive 的安装, HIVE 的安装 在hadoop 上,把 hive-0.9.0.tar.gz 复制到/usr/local tar -zxvf hive-0.9.0.tar.gz mv hive-0.9.0 hive 修改/etc/profile vi /etc/profile 增加 export HIVE_HOME=/usr/local/hive 修改export PATH=$JAVA_...(发布于2020-01-22 05:10:09)
hive内置函数,
hive内置函数, 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分...(发布于2020-01-22 05:10:05)
hive 安装文档,
hive 安装文档, 零、介绍 hive是 半个数据库, 真正数据是存储在hdfs中,元数据(表结构)存在derby[mysql]里,它会把HQL语句(类SQL)翻译成MapReduce(hive1.x),spark....(hive2.x),(hive2.x不提倡...(发布于2020-01-22 05:10:01)