Hive体系结构,
Hive体系结构, 本文整理自阿里数据平台的官方博客:http://www.alidata.org/archives/category/cloud-computing/hive 1、Hive架构与基本组成 下面是Hive的架构图。 图1.1 Hive体系结构 ...(发布于2020-01-29 22:55:48)
hive学习笔记,
hive学习笔记, 强制删除有表的数据库: drop database xxx cascade; 获取表结构: desc table XXX;...(发布于2020-01-29 22:55:44)
hive基础,
hive基础, (一): Hive 是什么 在接触一个新的事物首先要回到的问题是:这是什么? 这里引用 Hive wiki 上的介绍: Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to e...(发布于2020-01-29 22:55:38)
Hive优化,
Hive优化, Hive性能调校 提高Hive总体性能的若干技巧 本报告主要就如何提高Hive执行的总体性能进行了调研,下面以分条的形式列举出来。 1.设置 hive.map.aggr=true,提高HiveQL聚合的执行性...(发布于2020-01-28 22:50:44)
HIVE笔记,
HIVE笔记, 创建表格同时设置字段间隔 CREATE TABLE table_test (f_sid STRING,f_bookid STRING) ROWFORMAT DELIMITED FIELDS TERMINATED BY ','STORED AS TEXTFILE; 将HDFS 文件导入到HIVE表格中 LOAD DATA INPATH ‘/test/’ INT...(发布于2020-01-28 22:50:40)
Hive的安装,
Hive的安装, 一 Hive安装官网1、Hive官网(新版本从这下载)httpp://hive.apache.org2、老版本Hive安装包http://archive.apache.org/下载0.13版本Hive[root@localhost ~]# wget http://archive.apache.org/dist/hive/hive-0...(发布于2020-01-28 22:50:36)
HIVE 结构,
HIVE 结构, HIVE 主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、优化器、执行器。 Hadoop:用 HD...(发布于2020-01-28 22:50:32)
hive权限控制,
hive权限控制, 对hive的元数据表结构要作以下调整: http://www.jpox.org/docs/1_2/rdbms/types.html 最少需要给hive实现的语句: create user drop user set password grant revoke 可选的有 show grants ...(发布于2020-01-28 22:50:29)
hive语法,
hive语法, 创建表 创建员工表 [java] view plain copy create table t_emp ( id int , name string, age int , dept_name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ; 创...(发布于2020-01-28 22:50:25)
hive初识,
hive初识, https://www.cnblogs.com/qingyunzong/p/8707885.html...(发布于2020-01-28 22:50:21)
Hive简介,
Hive简介, Hive 简介 1 、 hive 基本概念 hive是基于Hadoop的一个 数据仓库 工具,可以将 结构化 的数据文件 映射 为一张 数据库表 ,并提供简单的 sql 查询 功能,可以将sql语句转换为 Map...(发布于2020-01-28 22:50:17)
hive安装,
hive安装, ubuntu下面: [b](1)安装好java[/b] 设置 JAVA_HOME 在文件/etc/profile中设置 JAVA_HOME=/usr/lib/jvm/java-6-sun export JAVA_HOME tianzhao@tianzhao-VirtualBox:~/apache/trunk$ echo $JAVA_HOME /usr/ [b](2)ssh[/b...(发布于2020-01-28 22:50:14)
Hive性能优化,
Hive性能优化, 转载自:http://blog.csdn.net/jiangshouzhuang/article/details/51488099 架构层面优化: l 分表 l 合理利用中间结果集,避免查过就丢的资源浪费,减低Hadoop的IO负载 l 常用复杂或低...(发布于2020-01-28 22:50:05)
hive安装,
hive安装, 下载并解压hive 在env中添加HADOOP_HOME=/opt/apps/software/hadoop-2.7.3 修改模板hive-site并添加如下 property namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.jdbc.Driver/value ...(发布于2020-01-27 22:55:24)
Hive的安装步骤,
Hive的安装步骤, Hive 的安装步骤(本地安装模式) 1 解压 hive 的 tar 包 $ tar -zxf hive-0.13.1-bin.tar.gz -C ../modules/ 2. 创建 /tmp 和 hive 数据仓库在 HDFS 之上的目录 $ bin/hdfs dfs -mkdir -p /user/hive/...(发布于2020-01-27 22:55:20)
Hive 的优化,
Hive 的优化, 1、group by 实现 distinct 原始语句:select count(distinct ip) from (select ip as ip from comprehensive.f_client_boot_daily where year="2013" and month="10" union all select pub_ip as ip from f_app_boot_dail...(发布于2020-01-27 22:55:16)
Hive进阶,
Hive进阶, 授课对象: Hadoop高级、具有一定Hadoop系统使用经验 系统架构师、系统分析师、高级程序员、资深开发人员。 牵涉到大数据处理的数据中心运行、规划、设计负责人。 政府机...(发布于2020-01-27 22:55:12)
hive安装过程,
hive安装过程, 1.下载hive的bin文件 2.解压到/usr/local/hadoop文件夹中 3. vim /etc/profile 添加环境变量值 export HIVE_HOME=/usr/local/hadoop目录中 export PATH = $HIVE_HOME/bin:$PATH source /etc/profile 使修...(发布于2020-01-27 22:55:08)
hive数据导入,
hive数据导入, 由于很多数据在hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是/u0001,为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:...(发布于2020-01-27 22:55:05)
hive的坑,
hive的坑, group by 多个字段 group by sku, itme_name 这样分组的时候,有相同的sku和item_name 分成一组,不能用item_name 作为分组,因为名字是经常变的,sku是不变的。 解决办法:...(发布于2020-01-27 22:55:01)