hive综述，

hive综述，

1.hive的作用用类SQL的语言HQL来计算HDFS中的数据，主要做海量数据的离线分析，没有实物的概念.
2.Hive更加侧重OLAP( 联机分析处理)的操作tips: set hive.cli.print.current.db=true//显示数据库实例名set hive.cli.print.header=true     //显示列名
3.基础建表语句Create [external] table [if not exists]  table_name[(col_name data_type[comment],...)][comment tablencomment][partitioned by (col_name data_type)][cluster by (col_name...)][sorted by (column_name [asc|desc],...)] into num_buckets buckets[row format row_format][stored as file_format][location   hdfs_path]
4.默认数据库的位置<property><name>hive.metastore.warehouse.dir</name><value>/usr/hive/warehouse</value></property>
也可以通过set hive.metastore.warehouse.dir; 来获取
5.列操作alter table ... add columns (col_name data_type);alter table ... replace columns (col_name datatype);alter table ... change col_name col_name data_type first ; 移动某列到最前alter table ... change col_name col_name data_type after col_name 1;在某列后新增字段
6.数据的加载方式读模式：数据被加载到数据库的时候，不对其合法性进行检验，只在查询等操作的时候检验  特点是加载速度快写模式：加载时，对数据合法性进行检验，数据库中的都是合法数据。  特点：数据加载慢，但查询速度快hive采用的是度模式，对于非法数据的显示为null
7.hive表中的数据加载load data [local inpath] linux_fs_path into table tblName;
8.分区操作：加载分区数据load data [local path] hdfs_path into table tabName partition (par='');手工创建分区：alter table tblName add partition(par='');查看表分区：show partitions tblName按分区查数据：需开启动态分区 insert into tblName partition (hdfs_par)  select ...;动静分区同时使用时，需指定静态分区开启动态分区：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nostrict;set hive.exec.max.dynamic.parititons.pernde=1000;使用 set hive.exec.max.dynamic.partitions 获取hive支持的最大分区数
数据导出： insert overwrite [local] directory  --select * from ..;
有些hql语句的执行会转化为mr，要提高效率需使用本地模式set hive.exec.mode.local.auto=true;
9.hive的文件格式textfilehive默认格式，数据不做压缩，磁盘开销大，数据解析开销大使用这种方式hive不会对数据进行切分，从而无法对数据进行并行操作。sequence file是hadoop api提供的一种二进制文件支持，具有使用翻遍，可压缩，可分割的特点rcfile一种行列存储相结合的存储方式首先将数据按行分块，保证同一个record在一个块上，避免读取一个记录需要读多个bloce，其次块数据列式存储，有利于数据压缩和快速的列存取rcfile存储空间小，查询效率高，需要通过text文件转化来加载，加载的速度最低。目前用的最多的是parquet,其特点是二进制存储，列式存储，映射下推，谓词下推
10.hive函数 show functionshive数据行列转换第一步，做表关联，分析结果select u.id,u.name,a.address from tll_user u join tll_address a on u.id=a.uid;第二步，对多个出现的结果按照id来拼接字符串select u.id,max(u.name),concat_ws(",",collect(a.address)) as addr from tll_user u join tll_address a on u.id=a.id group by u.id;
使用hive完成单词统计第一步 对文本切割select split(word,'') from tblName;第二步 集合数据转多行select explode(split(word,'')) from tblName;第三步 使用聚合函数统计select word,count(1) as count from (select explode(split(word,'') from tblName w group by word));