欢迎投稿

今日深度:

HIVE 简介,

HIVE 简介,


1、什么是Hive?

Hive是基于Hadoop文件系统之上的数据仓库架构,它为数据仓库的管理提供了许多功能:数据ETL(抽取、转换、加载)工具、数据存储管理和大型数据集的查询和分析能力。同时Hive还定义了类SQL的语言--Hive QL,Hive QL允许用户进行和SQL相似的操作,它可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能。还允许开发人员方便的使用Mapper和Reduce操作,可以将SQL语句转换为MapReduce任务运行,这对MapReduce框架来说是一个强有力的支持。

2、Hive体系结构

Hive是Hadoop中的一个重要的子项目,从下图我们可以大致了解Hive在Hadoop中的位置和关系。


上图描述Hadoop EcoSystem 中的各层系统,而Hive本身的体系架构如下:


从图中我们可以看出Hive其基本组成可以分为:

  • 用户接口,包括 CLI, JDBC/ODBC, WebUI
  • 元数据存储、通常是存储在关系数据库如MySQL, Derby中
  • 解释器、编译器、优化器、执行器
  • Hadoop,用HDFS进行存储,利用MapReduce进行计算
3、Hive与关系数据库的区别

Hive在很多方面与传统关系数据库类似(例如支持SQL接口),但是其底层对HDFS和MapReduce的依赖意味着它的体系结构有别于传统关系数据库,而这些区别又影响着Hive所支持的特性,进而影响着Hive的使用。

4、Hive应用场景

通过对Hive与传统关系数据库比较之后,其实我们不难得出Hive可以应用于那些场景。

Hive架构在基于静态批处理的Hadoop之上,Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,Hive不适合在大规模数据集上实现低延迟快速的查询。

5、Hive的数据存储

Hive的存储是建立Hadoop文件系统之上,Hive本身没有专门的数据存储格式,也不能为数据建立索引,因此用户可以 非常自由的组织Hive中的表,只需要在创建的时候告诉Hive数据中的列分隔符就可以解析数据了。

Hive中主要包括4中数据模型:表(table)、外部表(External Table)、分区(Partition)以及桶(Bucket)。

Hive的表和数据库中的表在概念上没有什么本质区别,在Hive中每个表都有一个对应的存储目录,而外部表纸箱HDFS中存在的数据,也可以创建分区。Hive中每个分区都对应数据库中相应分区列的一个索引,但是其对分区的组织方式和传统关系数据库不同,桶在指定列进行Hash计算时,会根据哈希值切分数据,使每个桶对应一个文件。


www.htsjk.Com true http://www.htsjk.com/hive/41681.html NewsArticle HIVE 简介, 1、什么是Hive? Hive是基于Hadoop文件系统之上的数据仓库架构,它为数据仓库的管理提供了许多功能:数据ETL(抽取、转换、加载)工具、数据存储管理和大型数据集的查询和...
相关文章
    暂无相关文章
评论暂时关闭