欢迎投稿

今日深度:

Hive窗口函数,

Hive窗口函数, 简介 本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析 概念 我们都知道在sql中有一类函数叫...(发布于2020-01-22 05:09:57)

hive资料,

hive资料, hive 默认 的字段 分隔符 为\001 cat ~/.hivehistory  -hive的历史操作 //运行hive,生成表 hive -f hql/create_dept.sql  //在hive中用set临时修改属性值...(发布于2020-01-22 05:09:53)

hive安装过程,

hive安装过程, 1:MySQL server + hive metastore service (hadoop2) 安装MySQL [root@hadoop9 hadoop]# mysql -uroot -p  mysql grant all on *.* to mysql@'%' identified by 'mysql' with grant option;  mysql create user 'hadoop' ident...(发布于2020-01-22 05:09:49)

hive安装配置,

hive安装配置, Hive只在一个节点上安装即可 1.上传tar包   2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e mysql-libs-...(发布于2020-01-16 05:51:39)

Databases in Hive,

Databases in Hive, Databases in Hive 1. 如果在 hive 中未定义数据库的话,这个 “default” 作为默认的数据库。 2. 创建数据库的语法很简单: hive create databasefinancials;     如果 financials 存在的话...(发布于2020-01-16 05:51:35)

Hive 入门,

Hive 入门, Hive 是什么 转载地址:http://www.blogjava.net/hengheng123456789/archive/2011/01/05/342354.html 在接触一个新的事物首先要回到的问题是:这是什么? 这里引用 Hive wiki 上的介绍: Hive is a...(发布于2020-01-16 05:51:32)

Hive Cli,

Hive Cli, = hive启动  = *$ hive –f script.q *$ hive -e 'SELECT * FROM dummy‘ *$ hive -S -e 'SELECT * FROM dummy‘ *$ hive -hiveconf hive.root.logger=DEBUG,console = set  = *hive SET hive.enforce.bucketing=true;  //设置值 *hiv...(发布于2020-01-16 05:51:28)

Hive CLI,

Hive CLI,   1、创内部建表,hive把数据移动到仓库目录,hive管理数据,所以drop表时会把元数据和数据一起删除 create table user (id int, name string) row format delimited fields terminated by '\t' 2、将本...(发布于2020-01-16 05:51:23)

Hive操作,

Hive操作, 数据导入 用Load语句执行数据的导入 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename[PARTITION (partcol1=val1, partcol2=val2 ...)]如果包含LOCAL关键字,则复制本地文件系统中的文件...(发布于2020-01-16 05:51:20)

hive常用函数,

hive常用函数, 字符串函数 字符串长度函数:length   Java代码   语法: length(string A)   返回值:  int    说明:返回字符串A的长度   举例:   hive select length(‘abcedfg’) from dual; ...(发布于2020-01-16 05:51:15)

Hive安装,

Hive安装, Hive安装 所有Hadoop的子项目,如Hive, Pig,和HBase 支持Linux的操作系统。因此,需要安装Linux OS。以下是为Hive的安装执行的简单步骤: 第1步:验证JAVA安装 在Hive安装之前,Java必须...(发布于2020-01-16 05:51:11)

Hive初步,

Hive初步, 特点 1、Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。Hive本身不存储数据,它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表,并...(发布于2020-01-16 05:51:08)

Spark Hive,

Spark Hive, /** * Created by zxl on 2016/9/29. */import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql._import org.apache.spark.sql.hive.HiveContextobject HiveTest { def main(args: Array[String]) { val sparkConf = n...(发布于2020-01-16 05:50:51)

HIVE的学习笔记,

HIVE的学习笔记, hive原来是hadoop开源项目中的一个子模块,hadoop0.20以后独立出来成为单独项目,不过安装时还是要指定hadoop路径:export HADOOP_HOME=%YOUR HADOOP DIR%,看看都有些什么命令吧:...(发布于2020-01-15 01:45:55)

hive报错,

hive报错, 执行hive语句报下面错误 Exception in thread "Thread-150" java.lang.RuntimeException: Error while reading from task log urlat org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProcessor.java:2...(发布于2020-01-15 01:45:51)

Hive限制,

Hive限制, 1.更新,事务,索引,不支持,是全表扫描 2.创建表的字段类型和java类型是对应的。不支持日期类型,提供转换为字符串类型的函数。 3.查询语句中,不支持having,可写嵌套...(发布于2020-01-15 01:45:47)

hive 常用命令,

hive 常用命令,       hive 开启命令窗口 hive --service cli;   hive --service metastore   开启hive metastore   hive --service hiveserver -p 11000 /dev/null 21     开启远程连接端口   hive sql文件执行方式:...(发布于2020-01-15 01:45:43)

Hive导入数据,

Hive导入数据, Hive 导入数据 创建规则文件 vim /tmp/result.logbaidu.com 12 2018-08-12baidu.com 22 2018-08-12baidu.com 19 2018-08-12baidu.com 10 2018-08-12hadoop fs -put /tmp/result.log /data/ Hive 创建数据库 # 创建hive数...(发布于2020-01-15 01:45:40)

hive 优化,

hive 优化, 要点: 优化时,把 hive sql 当做 map reduce 程序来读,会有意想不到的惊喜。 理解 hadoop 的核心能力,是 hive 优化的根本。 长期观察 hadoop 处理数据的过程,有几个显著的特征...(发布于2020-01-15 01:45:35)

hive安装教程,

hive安装教程, 1.解压到目标目录中:tar -zxvf apache-hive-0.13.1-bin.tar.gz -C /opt/modules 2.将conf中的hive-env.sh.template改名为hive-env.sh 3.编辑hive-env.sh:vim hive-env.sh     设置目录环境变量: 4.创建目...(发布于2020-01-15 01:45:31)