Hive之窗口函数,
Hive之窗口函数, 1.substring的用法: 2.数据准备:name,orderdate,cost jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017-01-05,46 jack,2017-04-06,42 tony,2017-01-07,50 jack,2017-01-08,55...(发布于2019-12-26 23:30:12)
hive深入浅出,
hive深入浅出, 这个网站对hive学习很有帮助;http://fatkun.com/2013/01/hive-join.html 第一部分:DDL DDL •建表 •删除表 •修改表结构 •创建/删除视图 •创建数据库 •显示命令 建表...(发布于2019-12-26 23:30:08)
Hive函数,
Hive函数, Hive函数 - 简书 http://www.jianshu.com/p/bed0bf1f9a0b Paste_Image.png cli命令 显示当前对话有多少函数可用 show functions; 显示函数的表述信息 desc function concat; 显示函数的扩展描述信息 de...(发布于2019-12-26 23:30:04)
hive索引,
hive索引, 索引是标准的数据库技术,hive 0.7版本之后支持索引。hive索引采用的不是'one size fites all'的索引实现方式,而是提供插入式接口,并且提供一个具体的索引实现作为参考。 h...(发布于2019-12-26 23:30:00)
Hive 常用命令,
Hive 常用命令, 1,创建一个简单的内部表: create database if not exists testDataBase;[add jar /opt/cloudera/parcels/CDH/lib/hive/lib/hive-contrib-0.10.0-cdh4.4.0.jar]use testDataBase;create table if not exists testTable( co...(发布于2019-12-26 23:29:55)
HIVE入门,
HIVE入门, Hive概述 什么是 Hive? * Hive 是建立在 Hadoop HDFS 上的数据库仓库基础建构 * Hive 可以用来进行数据库提取转化加载(ETL) * Hive 定义了简单的类似 SQL 查询语言,称为 HQL,它允许...(发布于2019-12-26 23:29:52)
hive安装,
hive安装, 下载Hive安装包 http://hive.apache.org/downloads.html 2、将hive文件上传到HADOOP集群,并解压 将文件上传到:/export/software tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/ cd /expor...(发布于2019-12-26 23:29:47)
hive安装指南,
hive安装指南, 环境:centos6.5,hadoop2.5.2,habse1.0.3,sqoop1.4.3, apache-hive-1.2.1-bin.tar.gz 1. 安装 将 apache-hive-1.2.1-bin.tar.gz 包放入/tmp 进行解压 解压tar -xvzf apache-hive-1.2.1-bin.tar.gz 拷贝:cp -r apache-...(发布于2019-12-26 23:29:43)
Hive的安装,
Hive的安装, 1)安装mysql 命令:sudp apt-get install mysql-server,记得设置root用户密码; 2)设置mysql开机自启动,命令: sudo chkconfig mysql on。(三种办法,百度) 3)登录mysql 命令: mysql -u ro...(发布于2019-12-26 23:29:38)
hive 基本命令,
hive 基本命令, 创建表: hive CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表,结构与其他一样 hive create table n...(发布于2019-12-25 23:37:07)
Hive体系结构,
Hive体系结构, Hive的元数据 -Hive将元数据存储在数据库中(metastore),支持mysql、berdy等数据库。 -Hive中的元数据包括表的名字,表的列和分区及其分区及其属性,表的属性,表的数据所...(发布于2019-12-25 23:37:04)
Hive的安装,
Hive的安装, 第一步:安装MySQL 1.查询linux中已有的mysql依赖包 # rpm -qa | grep mysql 2.删除linux中已有的mysql依赖包 # rpm -e --nodeps `rpm...(发布于2019-12-25 23:37:00)
hive安装过程,
hive安装过程, 一、查看需求 安装java 1.6及hadoop 0.20.x 二、安装hivetar -xf hive-x.y.z.tar.gz(本次安装为hive-0.8.1.tar.gz)将解压后的hive-0.8.1文件放在系统的/home/hadooptest/中。 在/etc/profile中添加...(发布于2019-12-25 23:36:56)
hive常用函数,
hive常用函数, 关系运算 数学运算 逻辑运算 数值计算 日期函数 条件函数 字符串函数 集合统计函数 复合类型构建操作 复杂类型访问操作 复杂类型长度统计函数 关系运算 1、等值比较...(发布于2019-12-25 23:36:52)
Hive数据倾斜,
Hive数据倾斜, 数据倾斜场景:少数key的数据量过于集中: 由于聚合函数的操作造成 jion类的倾斜 处理倾斜: 提前将倾斜的数据处理掉 提高并行度,多分区多task 对Group的聚合分段聚合...(发布于2019-12-25 23:36:48)
Hive基础,
Hive基础, 一、Hive的历史价值 1.Hive是Hadoop上的Killer Application,Hive是hadoop上的数据仓库,Hive同时 兼具有数据仓库的存储引擎和查询引擎的作用,而SparkSQL是一个更加出色和高级的查...(发布于2019-12-25 23:36:44)
hive 分区,
hive 分区, create table day_table (id int, content string) partitioned by (dt string); schematool -dbType MySQL -initSchema 动态分区 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; IN...(发布于2019-12-25 23:36:41)
hive 常用命令,
hive 常用命令, 个人感想: 当你面向google / baidu 找不到你需要的东西的时候,静下心来,打开下面这个链接,对你会有很大的帮助 一个通往快乐的链接地址 内部表改成外部表 alter ta...(发布于2019-12-25 23:36:37)
Hive优化,
Hive优化, 1.概述 本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先,我们来看看Hadoop的计算框架特性,在此...(发布于2019-12-25 23:36:32)
Hive基本操作,
Hive基本操作, 查看分区describe formatted tableName partition(date_id="2019-01-07"); 查看table在hdfs上的存储路径及建表语句show create table tableName ; 操作分区和表语句 alter table tableName add IF NOT EXISTS...(发布于2019-12-24 22:51:57)