欢迎投稿

今日深度:

HIVE体系结构,

HIVE体系结构,   1、Hive架构与基本组成     下面是Hive的架构图。                 图1.1 Hive体系结构   Hive的体系结构可以分为以下几部分:     (1)用户接口主要有三个:CLI,...(发布于2020-01-02 02:32:48)

hive安装配置,

hive安装配置, 准备工作 上传、解压、重命名 上传:sudo rz 解压:tar -zxvf 文件名 -C 解压到的目录 重命名 mv 源文件、重命名的名字 创建数据仓库 bin/hdfs dfs - mkdir /tmp bin/hdfs dfs -mkdir -p...(发布于2020-01-02 02:32:43)

Hive DML,

Hive DML, DML入门 DML(Data Manipulation Language) 具体操作: load/insert/update/delete/merge, import/export, explain plan(执行计划) 网址: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML 加载数据到Hi...(发布于2020-01-02 02:32:39)

hive快速入门,

hive快速入门, hive 是什么 在接触一个新的事物首先要回到的问题是:这是什么? 这里引用 Hive wiki 上的介绍: Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable e...(发布于2020-01-02 02:32:35)

hive的权限控制,

hive的权限控制, hive是没有库的概念的,但是我们通常是需要“库”这个东西存在。 1.不同日志,视为不同的“库”,其MetaStore在Mysql建立不同的数据库存放 2.每个“库”,对应一个用...(发布于2020-01-02 02:32:31)

hive初试,

hive初试, 1:搭建hadoop和hive,mysql的环境,过程截图。   2:利用上节课的数据,建表并导入数据。 3:最热门的查询词排行 top10 4:用户查询排行 top10 5:搜索结果排名第1,但是点击次...(发布于2020-01-02 02:32:27)

hive的优化,

hive的优化, hive的优化 优化方式: 1、环境优化(linux 句柄数、应用内存分配、是否负载等) 2、应用配置属性方面的优化。 3、代码优化(hql,尝试换一种hql的写法)。 学会看explain:解释执...(发布于2020-01-02 02:32:20)

Hive简介,

Hive简介, 1.Hive简介2.Hive Sql3.Hive的三种Join方式4.Hive事务使用建议5.Hive 窗口函数、分析函数6.hive与hbase的区别与联系 1.Hive简介 Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储...(发布于2020-01-01 02:26:29)

hive远程调试,

hive远程调试, Hive 0.8 以上版本开始支持远程调试(注1)。 1. 以debug模式启动Cli,${HIVE_HOME}/bin/hive --debug。进程会监听在8000端口等待调试连接。如果想更改监听端口,可以修改配置文件:...(发布于2020-01-01 02:26:26)

Hive常用操作,

Hive常用操作, 1. 绑定数据 1.1 创建表创建文本文件 创建文本文件test.txt 1.2 从本地导入到hive 1.3 从hdfs导入到hive 先将test文件上传到hdfs中 进入hive,创建表t5 执行导入 1. 绑定数据 1.1 创建...(发布于2020-01-01 02:26:22)

hive 变量,

hive 变量, 1. 变量空间:hiveconf, system, and env. ,通常默认引用为 hiveconf  hive set a=weihongrao; hive set a; a=weihongrao hive set hiveconf:a; hiveconf:a=weihongrao 2. 通过shell变量传递: [leo@hadoop ~]$ a="'tes...(发布于2020-01-01 02:26:18)

Hive explode,

Hive explode, explode 命令可以将行数据,按指定规则切分出多行 案例一:利用split执行切分规则 有如下数据: 100,200,300 200,300,500 要将上面两行数据根据逗号拆分成多行(每个数字占一行...(发布于2020-01-01 02:26:13)

Hive介绍,

Hive介绍, 概念: 基于hadoop HDFS之上的数据仓库。           数据仓库是一个面向主题,集成的,不可更新的的,随时间不变化的数据集合,它用于支持企业或者组织的决策分析处理。...(发布于2020-01-01 02:26:10)

hive建表,

hive建表, create table if not exisit    fresh.test( week int, store_nbr  int, w_wage   float ) row format  delimited  filelds  terminated  by ',' insert into table fresh.test    select * from fresh.test1; create table test1  ...(发布于2020-01-01 02:26:06)

hive语句,

hive语句, 1.hive 自定义udf或hive自带函数,解析xml。 udf insert overwrite table shenxinfu2 partition(dt='20170711') select xmlpath(s.shenxinfu_result) as url,s.area from shenxfdb.action  as s where s.dt='20170711'; 自带 in...(发布于2020-01-01 02:26:02)

Hive分区表,

Hive分区表, 分区表是数据库的基本概念,但很多时候数据量不大,我们完全用不到分区表。Hive是一种OLAP数据仓库软件,涉及的数据量是非常大的,所以分区表在这个场景就显得非常重...(发布于2020-01-01 02:25:57)

Hive快速入门,

Hive快速入门, Hive快速入门 @(HIVE)[hive] (一)简单入门 1、创建一个表 create table if not exists ljh_emp(name string,salary float,gender string)comment 'basic information of a employee'row format delimited fields term...(发布于2020-01-01 02:25:51)

hive学习笔记,

hive学习笔记, hql语句的执行过程 解析器 语法分析 编译器 生成hql语句执行计划 优化器 生成最优执行计划 show tables show functions desc 表名 查看表的信息 dfs -lsr /tmp 在cli中也可以查看hd...(发布于2019-12-31 01:13:18)

hive 安装配置,

hive 安装配置, 1.下载hive-1.2.0 下载路径 http://hive.apache.org/downloads.html 2.解压安装 命令:tar -zxvf apache-hive-1.2.0-bin.tar.gz ,出现 apache-hive-1.2.0-bin 3.修改名字(方便使用) 命令:mv apache-hive-1.2.0-...(发布于2019-12-31 01:13:13)

Hive 函数,

Hive 函数, 1.  内置运算符 在Hive有四种类型的运算符: · 关系运算符 · 算术运算符 · 逻辑运算符 · 复杂运算 内容较多,见《Hive官方文档》或者《hive常用运算和函数.doc》 2.  内置...(发布于2019-12-31 01:13:09)