hive 压缩编码,
hive 压缩编码, 文章目录 1. hadoop 压缩编码 1.1 MR支持的压缩编码 2、编码/解码器 3、压缩性能的比较 4、压缩配置参数 2. hive压缩编码 2.1 如何查看hive支持的压缩 2.1 hive编码的选择 2.2 配...(发布于2019-12-31 01:13:05)
Hive的安装步骤,
Hive的安装步骤, 安装Mysql yum安装Mysql yum -y install mysql -server 启动Mysql Service服务 service mysqld start 加入到开机启动项 chkconfig mysqld on 创建用户并赋予权限 GRANT ALL PRIVILEGES ON *.* TO 'root' @ '...(发布于2019-12-31 01:13:01)
Hive on Spark,
Hive on Spark, Hive on Spark用的是Spark执行引擎,而不是MapReduce 处理hive元数据的不再是map和reduce工程而是通过spark的rdd就可以充分利用Spark的快速执行能力来缩短HiveQL的响应时间 配置Hive o...(发布于2019-12-31 01:12:58)
spark on hive,
spark on hive, spark on hive 1、spark on hive介绍 (1)就是通过sparksql,加载hive的配置文件,获取到hive的元数据信息 (2)spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 (...(发布于2019-12-31 01:12:54)
Hive安装,
Hive安装, Hive安装 1. 解压 Hive ,到 /usr/local 目录,将解压后的目录名 mv 为 hive 设定环境变量 HADOOP_HOME , HIVE_HOME ,将 bin 目录加入到 PATH 中 export HADOOP_HOME=/usr/local/hadoop export HIVE...(发布于2019-12-31 01:12:50)
Hive的基本操作,
Hive的基本操作, 启动Hive 第一种方式,直接进入bin目录下输入hive即可。 第二种方式: 第一步:后台启动hiveserver2服务端 nohup hive --service hiveserver2 第二步:在bin目录下输入beeline指令 然...(发布于2019-12-31 01:12:46)
Hive简介,
Hive简介, 原文:http://www.distream.org/?p=393 1 和传统数据库的比较 读时模式vs.写时模式 传统数据库是写时模式(schema on write),即数据在写入数据库时对模式进行检查。Hive在数据加载时不...(发布于2019-12-31 01:12:36)
Hive性能优化(全面),
Hive性能优化(全面), 作者:浪尖 原文链接 本文转载自...(发布于2019-12-30 23:14:51)
Hive性能优化(全面),
Hive性能优化(全面), 作者:浪尖 原文链接 本文转载自...(发布于2019-12-30 23:14:43)
Hive的工作原理,
Hive的工作原理, 一、SQL语句转换成MapReduce作业的基本原理 join的实现原理: sql获取的数据 先通过map函数处理,转换成key-value形式,接着shuffle为归并的过程,将key相同的归并到一起,最...(发布于2019-12-29 22:59:06)
Hive的配置,
Hive的配置, 转自:https://www.edureka.co/blog/apache-hive-installation-on-ubuntu (个人做了点调整) Please follow the below steps to install Apache Hive on Ubuntu: Step 1: Download Hive tar. Command: wget http:/...(发布于2019-12-29 22:59:02)
hive 优化,
hive 优化, Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有...(发布于2019-12-29 22:58:58)
hive优化,
hive优化, 1、环境方面:服务器配置、容器的配置、环境搭建 2、具体的软件配置参数: 3、代码级别的优化: 目录 1、环境方面:服务器配置、容器的配置、环境搭建2、具体的软件配...(发布于2019-12-29 22:58:54)
hive基础命令,
hive基础命令, 小白上路喽,从命令行开始 show database; use db_name; show tables; desc tb_name; show functions; desc function fc_name; –执行hive sql脚本 hive -f script.sql –设置mapreduce 队列(设置root,避免队...(发布于2019-12-29 22:58:50)
Hive 体系架构,
Hive 体系架构, 1、Hive架构与基本组成 下面是Hive的架构图。 图1.1 Hive体系结构 Hive的体系结构可以分为以下几部分: (1)用户接口主要有三个:CLI,Client 和 WUI。其...(发布于2019-12-29 22:58:46)
Hive详解,
Hive详解, hive详解 ...(发布于2019-12-29 22:58:41)
Hive基本操作,
Hive基本操作, 1. create table hive CREATE TABLE IF NOT EXISTS employee ( eid int, name String,salary String, destination String)COMMENT ‘Employee details’ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\t’LINES TERMINATED BY ‘\n’...(发布于2019-12-29 22:58:37)
hive元数据,
hive元数据, 转载自http://lxw1234.com/archives/2015/07/378.htm 13.1 存储Hive版本的元数据表(VERSION) 该表比较简单,但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 0.13.0 Set...(发布于2019-12-29 22:58:33)
Hive学习笔记,
Hive学习笔记, 1. Hive简介 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL的查询功能,其本质是将SQL转换成MapReduce的任务进行运算,底层由...(发布于2019-12-29 22:58:27)
hive 窗口函数,
hive 窗口函数, 1、partition by用于给结果集分组,如果没有指定那么它把整个结果集作为一个分组。 2、Rank 是在每个分组内部进行排名的。 SQL select * from (select e.*,rank() over (partition by d...(发布于2019-12-28 23:00:27)