欢迎投稿

今日深度:

Hive导入数据,

Hive导入数据, 场景:需要往一张宽表(100个字段以上的数据表)导入数据 一、新建一个hive表 dim.dim_feiduoduo003 1、储存格式:TextInputFormat 2、行分割符:\n 3、列分隔符:\t 二、做一个...(发布于2020-02-04 22:50:22)

Hive环境安装,

Hive环境安装, Hive安装 1、到下载地址http://apache.fayea.com/hive/,下载apache-hive-1.2.1-bin.tar.gz,解压 tar -xzvf apache-hive-1.2.1-bin.tar.gz 2、配置环境变量, vi /etc/profile export HIVE_HOME=/home/liqqc/app/...(发布于2020-02-04 22:50:18)

hive的命令,

hive的命令, 查看hive内置函数 show functions; 清除屏幕 ctrl+L 或 ! clear 查看表 show tables; 查看表结构 desc tableName; 查看HDFS上文件 hive dfs -ls /home/hive/;Found 1 itemsdrwxrwxrwx - hive hdfs 0 2017 - 11...(发布于2020-02-04 22:50:09)

hive常用函数,

hive常用函数, 1 string to date date(string) 例如:select date('2017-06-12') from dual;        结果:2017-06-12...(发布于2020-02-03 22:10:29)

HIVE 乱码问题,

HIVE 乱码问题, HIVE 乱码问题 1.概述 创建表的时候,comment说明字段包含中文,表成功创建成功之后,中文说明显示乱码,这是因为在MySQL中的元数据出现乱码,那么我们只需要把相应注...(发布于2020-02-03 22:10:25)

Hive安装部署,

Hive安装部署, Hive安装部署 进入hadoop用户目录 下载hive wget http://mirrors.cnnic.cn/apache/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz hadoop-1.2.1.tar.gz 解压hive tar -zxvf apache-hive-1.2.1-bin.tar.gz 修改环境变量...(发布于2020-02-03 22:10:21)

Hive学习,

Hive学习, 1,介绍     数据仓库: online alayze process。  在线分析处理 2,数据库, oltp  online transaction process。 在线事物处理, 3. Hive的安装     a 安装jdk     b 安装Hive     c  tar -...(发布于2020-02-03 22:10:17)

Hive安装,

Hive安装, 1. 下载Hive 下载地址:http://www.fayea.com/apache-mirror/hive/,我下载的是HiveHive-0.9.0(http://www.fayea.com/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz)。 2. 把Hive移动到/home/hadoop目录下并解压 h...(发布于2020-02-03 22:09:52)

hive性能调优,

hive性能调优, 1、内部表和外部表的区别 创建函数的区别 删除外部表元数据不删除,删除内部表表和元数据一起删除 如果想实现数据的安全性和共享性,就使用外部表 2、hive优化 hi...(发布于2020-02-03 22:09:48)

hive语句,

hive语句, hive 库和表操作 1、库操作 1.1.1、创建库 语法结构: CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, …)...(发布于2020-02-03 22:09:44)

Hive 数据模型,

Hive 数据模型,                                                                           Hive 数据模型     Hive 数据表有五种类型:内部表,外部表,分区表,桶表,视图...(发布于2020-02-03 22:09:40)

Hive的基本介绍,

Hive的基本介绍, Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。那么,到底什么是Hive,我们先看看Hive官网Wiki是如何介绍Hive的(https...(发布于2020-02-03 22:09:37)

hive 安装配置,

hive 安装配置, 安装步骤: 1.下载        下载hive:http://labs.mop.com/apache-mirror/hive/hive-0.8.1/hive-0.8.1.tar.gz 2.安装 (1)上传hive安装包到机器上,使用root用户登陆:    tar -xvf hive-0.8.1.tar.gz (2)将解...(发布于2020-02-03 22:09:32)

Hive安装,

Hive安装, Hive只在一个节点上安装即可 1.上传tar包 2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore(切换到root用户)配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3...(发布于2020-02-02 22:11:29)

Hive之 数据存储,

Hive之 数据存储, 首先,Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,...(发布于2020-02-02 22:11:25)

Hive文件格式,

Hive文件格式, Hive文件格式 一、TEXTFILE 二、SEQUENCEFILE 三、RCFILE hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式,建表时不...(发布于2020-02-02 22:11:21)

Hive安装,

Hive安装, 1. 下载Hive 下载地址:http://www.fayea.com/apache-mirror/hive/,我下载的是HiveHive-0.9.0(http://www.fayea.com/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz)。 2. 把Hive移动到/home/hadoop目录下并解压 h...(发布于2020-02-02 22:11:17)

hive的学习,

hive的学习, 文档地址 http://www.mashibing.com/hive.html 一、上传并解压hive压缩包 #cd /usr/local#tar -xvf apache-hive-2.1.1-bin.tar.gz #ls#mv apache-hive-2.1.1-bin hive 二、配置文件 #cd hive#vi /etc/profileexport HAD...(发布于2020-02-02 22:11:13)

hive:框架理解,

hive:框架理解, 1. 什么是hive •Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。•本质是将HQL转换为MapReduce程序 2. 为什么...(发布于2020-02-02 22:11:09)

Hive安装,

Hive安装, 安装hive之前,先安装hadoop、mysql 我用的版本说明:hadoop-2.6.5.tar.gz,apache-hive-2.1.1-bin.tar.gz,mysql5.6 配置文件:hive-env.xml  hive.site.xml(配置hdfs仓库目录,配置mysql) 初始化hive:s...(发布于2020-02-02 22:11:05)