欢迎投稿

今日深度:

Hive的安装部署,

Hive的安装部署, 1.环境准备 1.1软件版本 hive-0.14 下载地址 2.配置 安装hive的前提,必需安装好hadoop环境,可以参考我之前Hadoop社区版搭建,先搭建好hadoop环境;接下来我们开始配置hiv...(发布于2020-01-13 13:50:02)

hive bucket,

hive bucket,   Bucket  Buckets对指定列计算hash,根据hash值切分数据,目的是为了并行,每一个Bucket对应一个文件。 将user列分散至32个bucket,首先对user列的值计算hash,对应hash值为0的HDFS目...(发布于2020-01-13 13:49:58)

Hive Cli,

Hive Cli, Hive Cli  = hive启动  =   *$ hive –f script.q  *$ hive -e 'SELECT * FROM dummy‘  *$ hive -S -e 'SELECT * FROM dummy‘  *$ hive -hiveconf hive.root.logger=DEBUG,console  = set  =   *hive SET hive.enforce.bucketing...(发布于2020-01-13 13:49:50)

大数据上云第一课:(1)MaxCompute授权和外表操作躲坑指南,

大数据上云第一课:(1)MaxCompute授权和外表操作躲坑指南, 一、子账号创建、AK信息绑定 如果您是第一次使用子账号登录数加平台和使用DataWorks,需要确认以下信息: • 该子账号所...(发布于2020-01-13 08:25:30)

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce,

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce, 最佳实践概述 应用场景 客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统,同时借助Hive进行常见的ETL任务。客户在...(发布于2020-01-13 08:25:24)

手动搭建Gateway连接阿里云E-MapReduce,

手动搭建Gateway连接阿里云E-MapReduce, 网络环境 首先要保证 Gateway 节点在 E-MapReduce 对应集群的安全组中,Gateway 节点可以顺利的访问 E-MapReduce 集群。设置节点的安全组请参考创建安全组...(发布于2020-01-08 09:01:07)

hive知识,

hive知识, Hive常用的SQL命令操作  创建表  hive CREATE TABLE pokes (foo INT, bar STRING);  创建表并创建索引字段ds  hive CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);  显示所有表  hiv...(发布于2020-01-07 07:56:23)

Hive getstarted,

Hive getstarted, https://cwiki.apache.org/confluence/display/Hive/GettingStarted...(发布于2020-01-07 07:56:18)

hive进阶,

hive进阶, hive中易忽略知识点记录 说明:hive作为大数据分析和存贮中,搭建数据仓库最好的几个组件来说,无论是对于数据存贮(典型的hadoop生态圈的分布式文件存贮类型),还是说...(发布于2020-01-07 07:56:14)

hive (各种 by),

hive (各种 by), order by order by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序) 只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。 Sql代码 ...(发布于2020-01-07 07:56:11)

hive 字符操作,

hive 字符操作, 1. 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive select length('abcedfg') from lxw_dual; 7 2. 字符串反转函数:reverse 语法: reverse(...(发布于2020-01-07 07:56:07)

hive窗口函数,

hive窗口函数, 功能 :既能显示聚合前的数据 ,又能显示聚合后的函数 执行顺序: 最后一步执行 ,仅仅位于order by 之前                   select查询中 存在多个窗口函数时 他们之间...(发布于2020-01-07 07:56:02)

Hive 之 内置函数,

Hive 之 内置函数, 转自;http://www.yiibai.com/hive/hive_built_in_functions.html 内置函数 Hive支持以下内置函数: 返回类型 签名 描述 BIGINT round(double a) 返回BIGINT最近的double值。 BIGINT floor(double a) 返...(发布于2020-01-07 07:55:59)

Hive 之 内置函数,

Hive 之 内置函数, 转自:http://blog.csdn.net/sunlei1980/article/details/46602425 一、关系函数 1.等值比较:=     语法:A=B 操作类型:所有基本类型 2.不等值比较:     语法:AB     操作类型:...(发布于2020-01-07 07:55:54)

hive列转行,

hive列转行, 一、问题 hive如何将 a b 1 a b 2 a b 3 c d 4 c d 5 c d 6 变为: a b 1 , 2 , 3 c d 4 , 5 , 6 二、数据  test.txt cat column_row.txta,b, 1 a,b, 2 a,b, 3 c,d, 4 c,d, 5 c,d, 6 三、答案 1. 建表 create table tm...(发布于2020-01-07 07:55:50)

Hive安装,

Hive安装, 安装环境 hadoop2.7.3集群 centOS 6.5—-master centOS 6.5—-slave1 centOS 6.5—-slave2 安装版本 MySQL-5.6.22 Hive-2.3.0 为方便起见本文档相关路径均为作者本机的路径,参考请看准路径 安装m...(发布于2020-01-07 07:55:42)

hive 服务,

hive 服务, 一、hive概念 hive由facebook开源,用来解决海量结构化日志的数据统计. hive架构 : https://cwiki.apache.org/confluence/display/Hive/Design#Design-HiveArchitecture 二、hive 的服务 hive的服务列表如...(发布于2020-01-06 01:54:25)

Hive部署,

Hive部署, Linux MySQL Hadoop 1)Hadoop是什么 海量数据分布式的存储和计算框架 数据存储:HDFS: Hadoop Distributed File System 数据计算:YARN/MapReduce IDE 2)Hadoop的访问方式 shell cli: 文件夹、文件...(发布于2020-01-06 01:54:21)

hive的窗口函数,

hive的窗口函数, http://yugouai.iteye.com/blog/1908121...(发布于2020-01-06 01:54:17)

Hive QL,

Hive QL, 第一部分:DDL DDL •建表•删除表•修改表结构•创建/删除视图•创建数据库•显示命令 建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type [COMMENT col_commen...(发布于2020-01-06 01:54:13)