hive的安装配置，
hive的安装配置， 1 使用yum安装mysql yum install mysql-server -y 开启mysql mysql -uroot -p 没有启动mysql服务 service 启动：service mysqld start 、使用 mysqld 脚本启动：/etc/inint.d/mys...（发布于2020-01-15 01:45:28）
Hive 学习笔记，
Hive 学习笔记， 【文件存储格式】 在建表语句中通过" STORED AS FILE_FORMAT" 指定。 TEXTFILE： 默认格式，数据不做压缩，磁盘开销大，数据解析开销大，结合Gzip/Bizp2使用，采用此种方式不支...（发布于2020-01-15 01:45:23）
hive 常用命令，
hive 常用命令， hive 常用命令 1.hive模糊搜索表 show tables like ‘*name*’; 2.查看表结构信息 desc formatted table_name; desc table_name; 3.查看分区信息 show partitions table_name; 4.根据分区查询数据 sele...（发布于2020-01-15 01:45:17）
hive安装，
hive安装， 首先，hadoop集群已经安装好了，可以正常运行。 修改log4j文件 可选 cp hive-log4j.properties.template hive-log4j.properties 将EventCounter修改成org.apache.hadoop.log.metrics.EventCounter #log4j.ap...（发布于2020-01-14 13:28:37）
Hive 参数，
Hive 参数， Hive 参数 hive.exec.max.created.files •说明：所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000` hive.exec.dynamic.partition •说明：是否为自动分区 •默认值：false hive...（发布于2020-01-14 13:28:33）
Hive 基本命令，
Hive 基本命令， 进入Hive 打开终端： precode cd $HIVE_HOME bin/hive /pre/code 创建表 precode create table if not exists test(id INT, name STRING,age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'...（发布于2020-01-14 13:28:29）
Hive表，
Hive表， 一、Hive运行模式 1.Hive的运行模式即任务的执行环境 2.分为本地与集群两种,我们可以通过mapred.job.tracker 来指明 设置方式：hive SET mapred.job.track...（发布于2020-01-14 13:28:25）
Hive浅析，
Hive浅析， 概述 Hive——Hadoop最常用的工具。 对于Hadoop的出现，无论是业界还是学术界对其都给予了极高的关注度，Hadoop及其生态圈提供了一个成熟高校的处理海量数据集的解决方案。...（发布于2020-01-14 13:28:21）
hive + hbase，
hive + hbase， 环境配置： hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node) hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node) hive-0.10.0-cdh4.3.0 一、查询性能比较： query1: select count(1) from on_hdfs; select count(1) from on...（发布于2020-01-14 13:28:17）
hive 数据倾斜，
hive 数据倾斜， 链接：http://www.alidata.org/archives/2109 数据倾斜总结 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的...（发布于2020-01-14 13:28:13）
hive on spark，
hive on spark， 部署包全部及部署文档下载地址： 链接：https://pan.baidu.com/s/1M1rUDSkzPVVpCL9qTDbilg 提取码：heqw 压缩包内容 hadoop-setup.txt和spark-setup.txt是hadoop、hive和spark的安装配置文档 ...（发布于2020-01-14 13:28:09）
hive介绍，
hive介绍， hive特性 -hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是：...（发布于2020-01-14 13:28:04）
Hive搭建，
Hive搭建， 单用户模式 1.下载mysql yum install mysql-server -y 2.修改mysql权限： service mysqld startGRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION; 3.删除多余会对权限造成影响的数据...（发布于2020-01-14 13:27:50）
hive基础架构，
hive基础架构， Hive Structure Metastore 服务和存储的方式 1.内嵌模式 2.本地模式 3.远程模式 建议采取远程模式， 这样的模式可以将数据库层完全置于防火墙后，客户就不再需要用户名和...（发布于2020-01-13 13:50:30）
Hive常用指令，
Hive常用指令， 在Hive目录中的命令： hive -e “select * …” 执行一条sql语句 hive -f “/x/xxx.hql” 执行一个文件，例如外部脚本 Hive shell中： 直接使用sql语句： create database logs 库会自动创在...（发布于2020-01-13 13:50:26）
hive调优，
hive调优， 1.fetch抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive默认是 minimal，该属...（发布于2020-01-13 13:50:22）
Hive安装，
Hive安装， Hive 只需要在一个节点上安装，本文指定在主机名为 Master ，用户名为 cloud 的环境下安装。 版本： mysql ： 5.1.66 mysql-server ： 5.1.66 mysql-connector-java：5.1.17 hive ： 0.12.0 Hiv...（发布于2020-01-13 13:50:19）
hive 函数，
hive 函数， -e 引号引起sql-f 后跟文件，sql脚本-i 初始化文件，hive启动时跟的 a.txt，执行之后，将结果保持到文件中------------------------------------------------quit,exit：退出reset:将命令重置se...（发布于2020-01-13 13:50:14）
Hive 表连接，
Hive 表连接， hive表连接需要成转换一个mapreduce的作业提交到hadoop上完成。 等值连接（连接条件“=”) 不等值连接（连接条件“ 外连接 -按部门统计员工人数：部门号，部门名称，人数...（发布于2020-01-13 13:50:11）
Hive的不足，
Hive的不足， 不足 执行引擎 Hive架构于MapReduce Framework之上，执行计划的灵活性较差，优化器可做的选择很少，例如：Join算法只有Grace Hash Join一种选择，性能更加优秀且稳定的Hybrid Hash...（发布于2020-01-13 13:50:07）