欢迎投稿

今日深度:

hive的jdbc,

hive的jdbc, 原文地址:http://blog.csdn.net/nsrainbow/article/details/43002387 最新课程请关注原作者博客,获得更好的显示体验 声明 本文基于Centos 6.x CDH 5.x 说到Hive就一定要说到写程序的时候怎么...(发布于2020-01-23 22:54:43)

Hive安装,

Hive安装, hive 安装    http://www.open-open.com/lib/view/open1330908496483.html hive安装配置 可安装集群任意节点上 tar -xf hive-x.y.z.tar.gz(本次安装为hive-0.8.1.tar.gz) 将解压后的hive-0.8.1文件放在系统...(发布于2020-01-23 22:54:39)

Hive 文件格式,

Hive 文件格式, hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据...(发布于2020-01-23 22:54:32)

hive join,

hive join, hive(0.9.0): 1.支持equality joins, outer joins, and left semi joins 2.只支持等值条件 3.支持多表join 原理 hive执行引擎会将HQL“翻译”成为map-reduce任务,如果多张表使用同一列做join则将被...(发布于2020-01-22 22:56:03)

HIVE优化,

HIVE优化, Hive优化总结 1、整体架构优化 现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。...(发布于2020-01-22 22:55:59)

Hive 命令,

Hive 命令, 1. hive - e “select * from A where createtime='2014-09-22' ” 2.desc tablename 查看表结构 3.show tables like '*user*' 查找到 包含user的table...(发布于2020-01-22 22:55:55)

hive udf,

hive udf, 流程 Reference https://blog.csdn.net/Gavin_chun/article/details/78169317...(发布于2020-01-22 22:55:51)

hive错误记录,

hive错误记录, 系统环境: hadoop CDH3u2 hive 0.71 3u4   错误1 使用默认的derby数据库,当查询数据库的时候,比如使用 show tables,报错如下:  写道FAILED: Error in metadata: javax.jdo.JDOFatalDataSto...(发布于2020-01-22 22:55:47)

Hive的表,

Hive的表, Hive中表的类型: 1.内部表(受控表):当删除内部表时,HDFS上的数据以及元数据都会被删除 2.外部表:当除外部,HDFS上的数据不会被删除但是元数据会被删除 3.临时表(测试...(发布于2020-01-22 22:55:44)

hive 表分区,

hive 表分区, set hive.exec.dynamic.partition=true;  set hive.exec.dynamic.partition.mode=nonstrict;   set hive.exec.dynamic.partitions.pernode=50000;  set hive.exec.dynamic.partitions.partitions=50000;  set hive.exec.max.c...(发布于2020-01-22 22:55:40)

hive调优,

hive调优, hive大数据倾斜总结:点击链接 Hive的map和reduce数调整:原文链接 https://yq.aliyun.com/articles/59635 一、    控制hive任务中的map数:  1.    通常情况下,作业会通过input的目录产生一...(发布于2020-01-22 22:55:36)

优化HIVE,

优化HIVE, 1、提前过滤数据,减少中间数据依赖: 尽量尽早的过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的数据。 如下,改写后的写法将会大大...(发布于2020-01-22 22:55:32)

hive数据迁移,

hive数据迁移, HDFS迁移 拷贝单个目录或文件 网络互通的两个Hadoop集群中,可执行如下命令,将nn1节点所在集群A上目录a.dir拷贝到nn2节点所在集群B目的b.dir上 hadoop distcp -i hdfs://nn1:8020/...(发布于2020-01-22 22:55:23)

hive部署,

hive部署, 前几天部署了个hive,感觉挺简单,稍微记录下。 环境:hadoop,hbase都已经装过了,只需要装个mysql就可以装hive了mysql和hive不是必须要装到hadoop master或datanode节点的只要在你部署...(发布于2020-01-22 05:10:25)

Hive Cli,

Hive Cli, Hive Cli  = hive启动  =   *$ hive –f script.q  *$ hive -e 'SELECT * FROM dummy‘  *$ hive -S -e 'SELECT * FROM dummy‘  *$ hive -hiveconf hive.root.logger=DEBUG,console  = set  =   *hive SET hive.enforce.bucketing...(发布于2020-01-22 05:10:21)

hive字符串函数,

hive字符串函数, hive字符串函数 1. 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例:hive select length('abcedfg') from lxw_dual; 7 2. 字符串反转函数:rever...(发布于2020-01-22 05:10:17)

Hive入门,

Hive入门, 一、Hive的数据类型 复杂数据类型 时间类型 二、Hive的数据模型 分区表 创建分区表: create table partition_table(id int,name string) partitioned by (gender string) row format delimited fields termi...(发布于2020-01-22 05:10:13)

hive 的安装,

hive 的安装, HIVE 的安装 在hadoop 上,把 hive-0.9.0.tar.gz 复制到/usr/local   tar -zxvf hive-0.9.0.tar.gz mv hive-0.9.0 hive 修改/etc/profile vi /etc/profile 增加 export HIVE_HOME=/usr/local/hive 修改export PATH=$JAVA_...(发布于2020-01-22 05:10:09)

hive内置函数,

hive内置函数, 目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 配套视频课程 第一部分...(发布于2020-01-22 05:10:05)

hive 安装文档,

hive 安装文档, 零、介绍     hive是 半个数据库, 真正数据是存储在hdfs中,元数据(表结构)存在derby[mysql]里,它会把HQL语句(类SQL)翻译成MapReduce(hive1.x),spark....(hive2.x),(hive2.x不提倡...(发布于2020-01-22 05:10:01)