欢迎投稿

今日深度:

Hive的基本操作,

Hive的基本操作, 目录 前言: 1、Hive基本操作 1.1、DDL操作 1.2、DML操作 1.3、Hive Join 总结: 目录 前言: 对于Hive来说最重要的一点就是能够用Hql来进行数据分析。而Hql来处理数据比MapRed...(发布于2020-01-03 22:19:04)

ubuntu安装hive,

ubuntu安装hive, 从机器上拷贝hive包(因为我在windows上已经下载,并且安装不成功),解压; 然后export HADOOP_HOME和HIVE_HOME 安装成功。 bin/hive即可。 想不到在windows上搞不天不行,在ubun...(发布于2020-01-03 22:19:00)

hive set,

hive set, 点击打开链接http://archive.cloudera.com/cdh/3/hive/language_manual/var_substitution.html You need to use the special  hiveconf  for variable substitution. e.g. hive set CURRENT_DATE='2012-09-16';hive select * from foo wh...(发布于2020-01-03 22:18:56)

hive youhua,

hive youhua, Currently, some relevant settings are: NameNode Heap Size: 4096mb DataNode maximum Java heap size: 4096mb Hadoop maximum Java heap size: 4096mb Java Options for MapReduce tasks: 768mb set mapred.child.java.opts = -Xmx12288m;...(发布于2020-01-03 22:18:52)

Hive错误集锦,

Hive错误集锦, Hive常见错误集锦...(发布于2020-01-03 22:18:48)

Hive总结,

Hive总结, Hive将对HDFS中保存的日志文件的MapReduce查询过程封装成类SQL语句,简化了对MapReduce在文件查询方面的应用。 1,整体结构 数据库|表|字段|类型等元数据存放在MySql等数据库中,...(发布于2020-01-03 22:18:40)

hive基础部分,

hive基础部分, 问题收集: Hive调试模式: 通过hive -hiveconf hive.root.logger=DEBUG,console 进入Hive,即调试模式,可以看到明细日志。 比如遇到如下卡住不动、或其他任何报错时,都可以这样...(发布于2020-01-03 02:01:00)

Hive数据导入,

Hive数据导入, 原文地址:http://www.linuxidc.com/Linux/2012-07/66266.htm...(发布于2020-01-03 02:00:56)

Hive基本操作,

Hive基本操作, (一)DDL 操作 1、建库 create database mydb; create database if no exists mydb; create database if no exists mydb location "/aa/bb"; 2、查询数据库 查询库列表:show databases; 查询库详细信息:d...(发布于2020-01-03 02:00:11)

Hive 函数,

Hive 函数, Hive 函数 Hive 内置函数 1、内容较多,见《Hive 官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 2、测试内置函数的快捷方式: 第一种方式:直接使用,例如:...(发布于2020-01-03 02:00:07)

hive 参数配置,

hive 参数配置, 1,hive.exec.parallel参数: 功能:同一个sql中的不同的job是否可以同时运行 默认为false: 设置参数set hive.exec.parallel=true; 由: Total MapReduce jobs = 3 Launching Job 1 out of 3 Launching...(发布于2020-01-03 02:00:04)

Hive 基本概念,

Hive 基本概念, Hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学...(发布于2020-01-03 01:59:59)

安装hive,

安装hive, 1、上传apache-hive-1.2.1-bin.tar.gz 2、解压文件 3、设置环境变量 4、启动的时候会出现冲突问题,是应为jline.jar冲突所致,hadoop的这个jar包比hive的低,需要把hive的jar包copy到hadoo...(发布于2020-01-03 01:59:55)

Hive 参数,

Hive 参数,  hive.exec.max.created.files •说明:所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000  hive.exec.dynamic.partition •说明:是否为自动分区 •默认值:false hive.map...(发布于2020-01-03 01:59:52)

大数据之Hive,

大数据之Hive, 六   查询 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select [WITH CommonTableExpression (, CommonTableExpression)*]    (Note: Only available starting with Hive 0.13.0) SELECT [ALL | DISTINCT]...(发布于2020-01-03 01:59:47)

Hive性能优化,

Hive性能优化, 为了高效的使用Hive,需要对Hive进行性能优化。Hive常用性能优化方法如下 1、Hive的本地模式 需要处理的数据量不大,可以使用Hive的本地模式,该模式比Hadoop的集群模式运...(发布于2020-01-03 01:59:43)

闃块噷浜?MaxCompute 2019-12 鏈堝垔,

闃块噷浜?MaxCompute 2019-12 鏈堝垔, 鎮ㄥソ锛孧axCompute 2019.12鏈堝垔涓烘偍甯︽潵12鏈堜骇鍝併€佹妧鏈渶鏂板姩鎬侊紝娆㈣繋闃呰銆?/p> 璇氶個鎮ㄥ弬涓庢鍦ㄨ繘琛岀殑 鈥?a href=...(发布于2020-01-02 23:39:26)

Hive安装,

Hive安装, Hive只在一个节点上安装即可 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el...(发布于2020-01-02 02:32:59)

hive 交互,

hive 交互, hive非交互模式 1,可以将hive执行的sql语句保存到脚本文件中,通过-f选项制定脚本文件执行hive eg:hive -f script.sql   2,对于较短的sql语句,可以直接使用-e选项运行hive eg:hive -e...(发布于2020-01-02 02:32:55)

Hive 连接,

Hive 连接, 通过远程jdbc方式连接到hive数据仓库     1.启动hiveserver2服务器,监听端口10000         $hive --service hiveserver2      2.通过beeline命令行连接到hiveserver2         $beeline  ...(发布于2020-01-02 02:32:51)