欢迎投稿

今日深度:

Hive体系结构,

Hive体系结构, 本文整理自阿里数据平台的官方博客:http://www.alidata.org/archives/category/cloud-computing/hive     1、Hive架构与基本组成     下面是Hive的架构图。 图1.1 Hive体系结构    ...(发布于2020-01-29 22:55:48)

hive学习笔记,

hive学习笔记, 强制删除有表的数据库: drop database xxx cascade; 获取表结构: desc table XXX;...(发布于2020-01-29 22:55:44)

hive基础,

hive基础, (一): Hive 是什么 在接触一个新的事物首先要回到的问题是:这是什么? 这里引用 Hive wiki 上的介绍: Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to e...(发布于2020-01-29 22:55:38)

Hive优化,

Hive优化, Hive性能调校 提高Hive总体性能的若干技巧 本报告主要就如何提高Hive执行的总体性能进行了调研,下面以分条的形式列举出来。 1.设置 hive.map.aggr=true,提高HiveQL聚合的执行性...(发布于2020-01-28 22:50:44)

HIVE笔记,

HIVE笔记, 创建表格同时设置字段间隔 CREATE TABLE table_test (f_sid STRING,f_bookid STRING) ROWFORMAT DELIMITED FIELDS TERMINATED BY ','STORED AS TEXTFILE; 将HDFS 文件导入到HIVE表格中 LOAD DATA INPATH ‘/test/’ INT...(发布于2020-01-28 22:50:40)

Hive的安装,

Hive的安装, 一 Hive安装官网1、Hive官网(新版本从这下载)httpp://hive.apache.org2、老版本Hive安装包http://archive.apache.org/下载0.13版本Hive[root@localhost ~]# wget http://archive.apache.org/dist/hive/hive-0...(发布于2020-01-28 22:50:36)

HIVE 结构,

HIVE 结构,   HIVE 主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、优化器、执行器。 Hadoop:用 HD...(发布于2020-01-28 22:50:32)

hive权限控制,

hive权限控制, 对hive的元数据表结构要作以下调整: http://www.jpox.org/docs/1_2/rdbms/types.html   最少需要给hive实现的语句: create user drop user set password grant revoke 可选的有 show grants    ...(发布于2020-01-28 22:50:29)

hive语法,

hive语法, 创建表 创建员工表 [java]  view plain  copy create table t_emp (   id  int ,   name string,   age  int ,   dept_name string   )   ROW FORMAT DELIMITED      FIELDS TERMINATED BY  ',' ;   创...(发布于2020-01-28 22:50:25)

hive初识,

hive初识, https://www.cnblogs.com/qingyunzong/p/8707885.html...(发布于2020-01-28 22:50:21)

Hive简介,

Hive简介, Hive 简介 1 、 hive 基本概念 hive是基于Hadoop的一个 数据仓库 工具,可以将 结构化 的数据文件 映射 为一张 数据库表 ,并提供简单的 sql 查询 功能,可以将sql语句转换为 Map...(发布于2020-01-28 22:50:17)

hive安装,

hive安装, ubuntu下面: [b](1)安装好java[/b] 设置 JAVA_HOME 在文件/etc/profile中设置 JAVA_HOME=/usr/lib/jvm/java-6-sun export JAVA_HOME tianzhao@tianzhao-VirtualBox:~/apache/trunk$ echo $JAVA_HOME /usr/ [b](2)ssh[/b...(发布于2020-01-28 22:50:14)

Hive性能优化,

Hive性能优化, 转载自:http://blog.csdn.net/jiangshouzhuang/article/details/51488099 架构层面优化: l  分表 l  合理利用中间结果集,避免查过就丢的资源浪费,减低Hadoop的IO负载 l  常用复杂或低...(发布于2020-01-28 22:50:05)

hive安装,

hive安装, 下载并解压hive 在env中添加HADOOP_HOME=/opt/apps/software/hadoop-2.7.3 修改模板hive-site并添加如下   property     namejavax.jdo.option.ConnectionDriverName/name     valuecom.mysql.jdbc.Driver/value    ...(发布于2020-01-27 22:55:24)

Hive的安装步骤,

Hive的安装步骤, Hive 的安装步骤(本地安装模式) 1 解压 hive 的 tar 包 $ tar -zxf hive-0.13.1-bin.tar.gz -C ../modules/ 2. 创建 /tmp 和 hive 数据仓库在 HDFS 之上的目录 $ bin/hdfs dfs -mkdir -p /user/hive/...(发布于2020-01-27 22:55:20)

Hive 的优化,

Hive 的优化, 1、group by   实现 distinct 原始语句:select count(distinct ip) from (select ip as ip from comprehensive.f_client_boot_daily where year="2013" and month="10"  union all select pub_ip as ip from f_app_boot_dail...(发布于2020-01-27 22:55:16)

Hive进阶,

Hive进阶, 授课对象: Hadoop高级、具有一定Hadoop系统使用经验 系统架构师、系统分析师、高级程序员、资深开发人员。 牵涉到大数据处理的数据中心运行、规划、设计负责人。 政府机...(发布于2020-01-27 22:55:12)

hive安装过程,

hive安装过程, 1.下载hive的bin文件 2.解压到/usr/local/hadoop文件夹中 3. vim /etc/profile 添加环境变量值   export HIVE_HOME=/usr/local/hadoop目录中   export PATH = $HIVE_HOME/bin:$PATH   source /etc/profile 使修...(发布于2020-01-27 22:55:08)

hive数据导入,

hive数据导入,   由于很多数据在hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是/u0001,为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:...(发布于2020-01-27 22:55:05)

hive的坑,

hive的坑, group  by  多个字段 group  by  sku, itme_name  这样分组的时候,有相同的sku和item_name  分成一组,不能用item_name 作为分组,因为名字是经常变的,sku是不变的。 解决办法:...(发布于2020-01-27 22:55:01)