欢迎投稿

今日深度:

大数据安全系统,

大数据安全系统, 产品简介 中安威士大数据安全平台(VS-BDSG)专注于为大数据环境的数据资产提供一系列的审计、访问控制、加密、脱敏等保护措施及管控,对数据的收集、加工、存...(发布于2019-12-02 21:54:49)

Hive的数据存储,

Hive的数据存储, Hive 的数据存储 1、Hive中所有的数据都存储在 HDFS 中,没有专门的数据存储格式(可支持Text,SequenceFile,ParquetFile,RCFILE等) 2、只需要在创建表的时候告诉 Hive 数据中...(发布于2019-12-01 22:06:21)

hive 安装教程,

hive 安装教程, 所有Hadoop的子项目,如Hive, Pig,和HBase 支持Linux的操作系统。因此,需要安装Linux OS。以下是为Hive的安装执行的简单步骤: 第1步:验证JAVA安装 在Hive安装之前,Java必须在...(发布于2019-12-01 22:06:17)

Hive group by,in,not in,

Hive group by,in,not in, hive的group by语句和SQL的group by语句不同。 hive的group by语句要把select中的字段都写在group by语句中, 如果有的字段不能出现在group by语句中,则需要在不写的字段上加...(发布于2019-12-01 22:06:13)

HIVE总结,

HIVE总结, hive.optimize.cp=true:列裁剪,取数只取      在读数据的时候,只读取查询中需要用到的列,而忽略其他列。例如,对于查询:SELECT a,b FROM T     WHEREe 10;其中,T 包含 5 个列...(发布于2019-12-01 22:06:09)

hive 建表,

hive 建表, hive建表是学习hive的第一步,建表很容易,但建个适合自己的就不是那么容易了,建表语句也有很大的学问。 1.建表语句: create [external] table [if not exists ] table_name[(col_name d...(发布于2019-12-01 22:06:05)

Hive和Hbase,

Hive和Hbase, 初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子...(发布于2019-12-01 22:06:02)

hive命令行界面,

hive命令行界面, 1.变量和属性 启动hive时加入参数,进行定义变量,启动之后可以更改参数的值; $hive --define foo=bar hiveset foo;查询变量的值 或者hiveset hivevar:foo; 更改变量值hiveset hi...(发布于2019-12-01 22:05:58)

Hive简介,

Hive简介, 文章目录 Hive简介 Hive特点 Hive 和 RDBMS 的对比 Hive的架构 Hive的数据组织 Hive 数据类型 Hive简介 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构...(发布于2019-12-01 22:05:54)

hive配置详解,

hive配置详解, hive的配置: hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置; hive.exec.script.wrapper:hive调用脚本时的包装器...(发布于2019-12-01 22:05:51)

Hive安装配置,

Hive安装配置, 环境介绍:hadoop-2.9.1、hive-1.2.0 节点规划: mini0 hadoop hive(server) metastore mini1 hadoop hive(client) mysql mini2 hadoop hive(client) 1、安装MYSQL CentOS7 64位下MySQL5.7安装与配置:http://www.li...(发布于2019-12-01 22:05:46)

Hive 索引,

Hive 索引, hive里的索引是什么? 索引是标准的数据库技术, hive 0.7版本之后支持索引 。Hive提供有限的索引功能,这不像传统的关系型数据库那样有“键(key)”的概念,用户可以 在某些...(发布于2019-11-30 22:10:49)

Hive的优化,

Hive的优化, hive优化 1)多表join优化代码结构:   select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2)LeftSemi-Join是可以高效实现...(发布于2019-11-30 22:10:45)

hive表分区,

hive表分区, 必须在表定义时创建partition   a、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区,在表结构中存在id,content,dt三列。 以...(发布于2019-11-30 22:10:41)

hive 配置文件,

hive 配置文件, property namehive.exec.scratchdir/name value/user/hive/tmp/value /property property namehive.metastore.warehouse.dir/name value/user/hive/warehouse/value /property property namehive.querylog.location/name value/user/hiv...(发布于2019-11-30 22:10:37)

hive索引,

hive索引, 索引是标准的数据库技术,hive 0.7版本之后支持索引。 Hive的索引目的是提高Hive表指定列的查询速度。 没有索引时,类似'WHERE tab1.col1 = 10' 的查询,Hive会加载整张表或分区,...(发布于2019-11-30 22:10:33)

hive分区,

hive分区, 参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterTable%2FPartitionStatements 这里主要列一些常用操作。   添加分区 ALTER TABLE table_name ADD PARTITION (partCol...(发布于2019-11-30 22:10:30)

hive字符串函数,

hive字符串函数, hive字符串函数 1.  字符串长度函数: length 语法 : length(string A) 返回值 : int 说明:返回字符串 A 的长度 举例: hive select length('abcedfg') from lxw_dual; 7 2.  字符串反转函数...(发布于2019-11-30 22:10:26)

hive on spark,

hive on spark, 简介 之前有写过hive on spark的一个文档,hive版本为2.0,spark版本为1.5。spark升级到2.0后,性能有所提升,程序文件的编排也和之前不一样,这里再更新一个最新的部署方式。...(发布于2019-11-30 22:10:22)

hive安装,

hive安装, Hive 2.1.0安装 环境 Hadoop2.6.4   jdk1.7 安装 Hive 修改 hadoop   配置文件 etc/hadoop/core-site.xml, 加入如下配置项 property namehadoop.proxyuser.hadoop.hosts/name value*/value /property property namehado...(发布于2019-11-30 22:10:17)