欢迎投稿

今日深度:

Hive限制,

Hive限制, Hive限制——http://blog.csdn.net/xiaolang85/article/details/7860011...(发布于2020-02-06 22:52:27)

案例详解|大数据上云助力新零售企业数智化转型,挖掘数据的价

案例详解|大数据上云助力新零售企业数智化转型,挖掘数据的价值, ###传统大卖场营收持续下滑,必须通过业务创新走出困境 曾经风光无限的零售大型超市业态--大卖场,当初代表先...(发布于2020-02-06 21:57:19)

hive的安装,

hive的安装, 准备条件 安装好hdfs集群 安装MySQL数据库,并且在MySQL中创建"hive"数据库(数据库名必须为"hive",默认情况下hive会将元数据存储在"hive"数据库中) 安装hive [ root@hadoop1 usr ] # m...(发布于2020-02-05 22:58:16)

Hive基本语法,

Hive基本语法, https://www.cnblogs.com/braveym/p/6622336.html...(发布于2020-02-05 22:58:12)

Hive的日期函数,

Hive的日期函数, 1.unix时间戳转时间函数 语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式举...(发布于2020-02-05 22:58:08)

Hive日期函数,

Hive日期函数, hive日期函数 函数用法 含参方式 用法备注 hive日期函数 函数用法 含参方式 用法备注 date2datekey date格式转换成datekey date2datekey(string date/time) date2datekey('2017-09-01') 返回:'...(发布于2020-02-05 22:58:04)

hive bucket,

hive bucket, hive中table可以拆分成partition,table和partition可以通过‘CLUSTERED BY ’进一步分bucket,bucket中的数据可以通过‘SORT BY’排序。 bucket主要作用: 1. 数据sampling 2. 提升某些查询操作...(发布于2020-02-05 22:58:00)

Hive学习笔记,

Hive学习笔记, 前言 CLI命令行方式 HIVE_HOME /bin/hive hive - - service cli 参考博客...(发布于2020-02-05 22:57:57)

Hive 架构,

Hive 架构, 1.hive是数据仓库,在Hadoop基础上处理结构化数据;它驻留在hadoop之上,用户对数据的统计、查询和简单的分析操作; 2.hive不是:        a.关系型数据库;        b.OLTP  ...(发布于2020-02-05 22:57:53)

hive安装,

hive安装, Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点)mysql安装仅供...(发布于2020-02-05 22:57:49)

Hive环境搭建,

Hive环境搭建, 一、Hive安装步骤 1、下载hive解压包 2、安装mysql服务器,教程可参照笔者博客yum方式安装mysql数据库 3、进入hive的conf目标新建一个hive-site.xml 4、在 hive-site.xml中写入mysql连...(发布于2020-02-05 22:57:45)

大数据,

大数据, 构建在Hadoop之上的 数据仓库, 数据计算使用MR,数据存储使用HDFS         因为数据计算使用mapreduce,因此通常用于进行离线数据处理 Hive 定义了一种类 SQL 查询语言——HQL...(发布于2020-02-05 22:57:41)

回顾《网易数据基础平台建设》,

回顾《网易数据基础平台建设》, 分享嘉宾:蒋鸿翔 网易 数据科学中心 首席架构师 内容来源:DataFun Talk《网易数据基础平台建设》 首先简单介绍一下网易杭州研究院情况简介,如下...(发布于2020-02-05 22:40:23)

Hive基础,

Hive基础, Hive基础 1,命令行连接 2,beeline连接 https://blog.csdn.net/JENREY/article/details/79870864 property      namehadoop.proxyuser.bda.hosts/name      value*/value /property  property       namehadoop.proxyus...(发布于2020-02-04 22:50:49)

Hive的基本语法,

Hive的基本语法, Point 1: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ... )] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ... )] [CLUSTERED BY...(发布于2020-02-04 22:50:45)

Hive的配置,

Hive的配置, Hive的下载地址:—–1.2.2版本(没有找到1.2.1版本,不过安装方法和使用方法是一样的) http://mirrors.hust.edu.cn/apache/hive/hive-1.2.2/ Hive必须借助mysql等数据库作为映射数据库,...(发布于2020-02-04 22:50:41)

hive自定义函数,

hive自定义函数, hive中的函数有以下三种类型 UDF:一进一出UDAF:多进一出UDTF:一进多出 在实现自定函数时需要继承以上三个类中的一个,实现如下方法:evaluate。具体类如下所示 pu...(发布于2020-02-04 22:50:37)

hive 数据储存,

hive 数据储存, 数据库储存位置 hdfs/Data Load 数据倾斜 map/reduce程序执行时,reduce大部分节点执行完毕,只有几个reduce 节点执行很慢,导致整体处理时间很长,这是因为某一个key的条数比...(发布于2020-02-04 22:50:34)

hive DDL-Table,

hive DDL-Table, Create/Drop/Truncate Table Create Table CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment], ... [constraint_specification])] [COMMENT table_comment] [PARTITI...(发布于2020-02-04 22:50:30)

Hive的JDBC,

Hive的JDBC, Hive 的JDBC 包含例子 https://cwiki.apache.org/confluence/display/Hive/HiveClient#HiveClient-JDBC   HiveServer2的JDBC 说明 https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients...(发布于2020-02-04 22:50:26)