欢迎投稿

今日深度:

hive常见错误,

hive常见错误, 本人因为最近业务经常会使用hive,先整理一下常见的出错问题。        1.我最近遇见过一个棘手的问题是,对方给我一个月的数据源用天分割数据,也就是有30个文件夹...(发布于2019-12-10 22:06:54)

hive join,

hive join, 1.hive join的实现方式 1、hive HQL语句 要被翻译成MR程序 2、MR中的Join操作有两种:MapJoin 和 ReduceJoin select a.*, b.* from a join b on a.id= b.id; hive的引擎会启动检测两个输入的大小,如果...(发布于2019-12-10 22:06:46)

hive权限,

hive权限, 创建和删除角色 CREATE ROLE ROLE_NAME删除角色: DROP ROLE ROLE_NAME把role_test1角色授权给jayliu用户,命令如下 grant role role_test1 to user jayliu;查看jayliu用户被授权的角色,命令如下:...(发布于2019-12-10 22:06:38)

hive 创建分区,

hive 创建分区, 在表定义时创建partition 创建单分区:create table tbl_01( name string, content string ) partitioned by( dt string ); 表结构中存在name,content,dt三列,以dt文件夹区分; 创建双分区:cr...(发布于2019-12-10 22:06:34)

hive介绍,

hive介绍, hive的定义:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。   1.  为什么使用Hive 1).直接使用hadoop所面临的问题...(发布于2019-12-10 22:06:29)

Hive 安装,

Hive 安装, 以下操作在hdpsrc3 节点上操作一,下载安装包1,下载hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz  ,放到该目录下 /home/hdpsrc/ 2,下载mysql     http://dev.mysql.co...(发布于2019-12-09 22:10:56)

Hive-2:hive,

Hive-2:hive, 无hive:使用者…-mapreduce…-hadoop数据(可能需要会mapreduce) 有hive:使用者…-HQL(SQL)-hive…-mapreduce…-hadoop数据(只需要会SQL语句) 1. 初识hive hive与hbase的关系: hive是基于...(发布于2019-12-09 22:10:52)

2018.10.19 hive,

2018.10.19 hive,        Hive:        使用hive cli,只是执行sql语句,并未使用其他的功能,暂时用不上;具体操作了查看数据库、表,使用数据库,查询表,查看表的定义,速度很慢...(发布于2019-12-09 22:10:48)

hive的安装配置,

hive的安装配置, 一、Mysql的安装配置 ①我选择的是在线yun安装 yum install -y mysql-server 。 ②启动mysql服务 service mysqld start 。 ③设置root用户密码,刚安装的服务默认是没有密码的,退出,...(发布于2019-12-09 22:10:44)

HIVE的分区表,

HIVE的分区表, 1.     External表, 照样可以建分区    2.    分区表的 路径不需要符合 /path/date=20120101的PATTERN ---------------------------------------------- DEMO  ----------------------------------------...(发布于2019-12-09 22:10:40)

hive性能优化,

hive性能优化, http://www.cnblogs.com/smartloli/p/4356660.html...(发布于2019-12-09 22:10:36)

hive设置,

hive设置, hive设置: 1.是否开启动态分区功能默认是false,如果是开启就使用true。 set hive.exec.dynamic.partition = false 2.动态分区模式,默认strict,表示必须指定至少一个分区为静态分区,...(发布于2019-12-09 22:10:32)

Hive日期函数,

Hive日期函数, 一 日期函数 to_date year month day weekofyear datediff date_add date_sub 二实战...(发布于2019-12-09 22:10:28)

Hive的安装部署,

Hive的安装部署, Hive的安装 使用mysql共享hive元数据 mysql数据库的安装 修改hive的配置文件 修改hive-env.sh 修改hive-site.xml 上传mysql的lib驱动包 使用方式 第一种交互方式:Hive交互shell 第二...(发布于2019-12-09 22:10:24)

大数据-Hive,

大数据-Hive, Hive 简介 Apache Hive是一个数据仓库软件在Hadoop中处理结构化数据 ,有助于 使用SQL读取 ,编写和管理驻留在分布式存储中的 大型数据集 。可以将结构投影到已存储的数据中...(发布于2019-12-09 22:10:20)

Hive Cli,

Hive Cli, = hive启动  =   *$ hive –f script.q  *$ hive -e 'SELECT * FROM dummy‘  *$ hive -S -e 'SELECT * FROM dummy‘  *$ hive -hiveconf hive.root.logger=DEBUG,console  = set  =   *hive SET hive.enforce.bucketing=true;  //设...(发布于2019-12-08 22:49:12)

HIVE安装,

HIVE安装, 今天看了看HIVE的视频,迫不及待的按照hive试试看。 主要分几个步骤:    1、将HIVE下载下来。 2、将HIVE解压到目录中。 3、将关键变量设置上 A、export HIVE_HOME=/usr/local/hive-0...(发布于2019-12-08 22:49:08)

hive概念,

hive概念, 1、Hive 分区 表 在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。分区表...(发布于2019-12-08 22:49:04)

Hive安装,

Hive安装, 1.vi ~/.bashrc //添加环境变量 export HIVE_HOME=/usr/local/hadoop2. 6.0 /hive- 2.0 . 1 -bin export PATH= ${HIVE_HOME} /bin: 2.vi hive-env.sh export HADOOP_HOME = /usr/ local /hadoop2 .6 .0 export HIVE_CONF_DIR = /usr/ loc...(发布于2019-12-08 22:49:00)

hive实战,

hive实战, 1. 安装hive 2. hive实战 3. hive存储模型 4. 深入hql查询语言 5. 参考资料及代码下载  1. 安装hive   下载hive,下载地址http://mirror.bjtu.edu.cn/apache//hive/,解压该文件: xuqiang@ubuntu:~/...(发布于2019-12-08 22:48:55)