欢迎投稿

今日深度:

hive 压缩编码,

hive 压缩编码, 文章目录 1. hadoop 压缩编码 1.1 MR支持的压缩编码 2、编码/解码器 3、压缩性能的比较 4、压缩配置参数 2. hive压缩编码 2.1 如何查看hive支持的压缩 2.1 hive编码的选择 2.2 配...(发布于2019-12-31 01:13:05)

Hive的安装步骤,

Hive的安装步骤, 安装Mysql yum安装Mysql yum -y install mysql -server 启动Mysql Service服务 service mysqld start 加入到开机启动项 chkconfig mysqld on 创建用户并赋予权限 GRANT ALL PRIVILEGES ON *.* TO 'root' @ '...(发布于2019-12-31 01:13:01)

Hive on Spark,

Hive on Spark, Hive on Spark用的是Spark执行引擎,而不是MapReduce 处理hive元数据的不再是map和reduce工程而是通过spark的rdd就可以充分利用Spark的快速执行能力来缩短HiveQL的响应时间 配置Hive o...(发布于2019-12-31 01:12:58)

spark on hive,

spark on hive, spark on hive 1、spark on hive介绍 (1)就是通过sparksql,加载hive的配置文件,获取到hive的元数据信息 (2)spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 (...(发布于2019-12-31 01:12:54)

Hive安装,

Hive安装, Hive安装 1.    解压 Hive ,到 /usr/local 目录,将解压后的目录名 mv 为 hive  设定环境变量 HADOOP_HOME , HIVE_HOME ,将 bin 目录加入到 PATH 中 export HADOOP_HOME=/usr/local/hadoop export HIVE...(发布于2019-12-31 01:12:50)

Hive的基本操作,

Hive的基本操作, 启动Hive 第一种方式,直接进入bin目录下输入hive即可。 第二种方式: 第一步:后台启动hiveserver2服务端 nohup hive --service hiveserver2 第二步:在bin目录下输入beeline指令 然...(发布于2019-12-31 01:12:46)

Hive简介,

Hive简介, 原文:http://www.distream.org/?p=393   1 和传统数据库的比较 读时模式vs.写时模式 传统数据库是写时模式(schema on write),即数据在写入数据库时对模式进行检查。Hive在数据加载时不...(发布于2019-12-31 01:12:36)

Hive性能优化(全面),

Hive性能优化(全面), 作者:浪尖 原文链接 本文转载自...(发布于2019-12-30 23:14:51)

Hive性能优化(全面),

Hive性能优化(全面), 作者:浪尖 原文链接 本文转载自...(发布于2019-12-30 23:14:43)

Hive的工作原理,

Hive的工作原理, 一、SQL语句转换成MapReduce作业的基本原理 join的实现原理: sql获取的数据 先通过map函数处理,转换成key-value形式,接着shuffle为归并的过程,将key相同的归并到一起,最...(发布于2019-12-29 22:59:06)

Hive的配置,

Hive的配置, 转自:https://www.edureka.co/blog/apache-hive-installation-on-ubuntu (个人做了点调整) Please follow the below steps to install  Apache Hive  on Ubuntu: Step 1:   Download  Hive tar. Command:  wget http:/...(发布于2019-12-29 22:59:02)

hive 优化,

hive 优化, Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有...(发布于2019-12-29 22:58:58)

hive优化,

hive优化, 1、环境方面:服务器配置、容器的配置、环境搭建 2、具体的软件配置参数: 3、代码级别的优化: 目录 1、环境方面:服务器配置、容器的配置、环境搭建2、具体的软件配...(发布于2019-12-29 22:58:54)

hive基础命令,

hive基础命令, 小白上路喽,从命令行开始 show database; use db_name; show tables; desc tb_name; show functions; desc function fc_name; –执行hive sql脚本 hive -f script.sql –设置mapreduce 队列(设置root,避免队...(发布于2019-12-29 22:58:50)

Hive 体系架构,

Hive 体系架构,    1、Hive架构与基本组成     下面是Hive的架构图。 图1.1 Hive体系结构     Hive的体系结构可以分为以下几部分:     (1)用户接口主要有三个:CLI,Client 和 WUI。其...(发布于2019-12-29 22:58:46)

Hive详解,

Hive详解, hive详解      ...(发布于2019-12-29 22:58:41)

Hive基本操作,

Hive基本操作, 1. create table  hive CREATE TABLE IF NOT EXISTS employee ( eid int, name String,salary String, destination String)COMMENT ‘Employee details’ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\t’LINES TERMINATED BY ‘\n’...(发布于2019-12-29 22:58:37)

hive元数据,

hive元数据, 转载自http://lxw1234.com/archives/2015/07/378.htm 13.1 存储Hive版本的元数据表(VERSION) 该表比较简单,但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 0.13.0 Set...(发布于2019-12-29 22:58:33)

Hive学习笔记,

Hive学习笔记, 1. Hive简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL的查询功能,其本质是将SQL转换成MapReduce的任务进行运算,底层由...(发布于2019-12-29 22:58:27)

hive 窗口函数,

hive 窗口函数, 1、partition by用于给结果集分组,如果没有指定那么它把整个结果集作为一个分组。 2、Rank 是在每个分组内部进行排名的。 SQL select * from (select e.*,rank() over (partition by d...(发布于2019-12-28 23:00:27)