欢迎投稿

今日深度:

Hive部署,

Hive部署,


配置环境

Hadoop2.7.5 + hive2.1.1+mysql5.5
(注释:
重启mysql服务: ‘service mysql restart’
停止mysql服务: ‘service mysql stop’
查看mysql服务状态: ‘service mysql status’)

创建 hive 用户

1. Mysql –u root –p
2. CREATE USER ‘hive’@’%’ IDENTIFIED BY ‘hive’;  //创建用户
3. GRANT ALL PRIVILEGES ON *.* TO ‘hive’@’%’ WITH GRANT OPTION  增加用户权限
4. Flush privileges;   刷新权限
5. Select user,host from mysql.user;   查询 mysql 用户及权限

###建立hive的专用元数据库,使用hive账号登录

  • Mysql –uhive –phive
  • CREATE DATABASE hive_metadata

授权hive 用户拥有 hive_metadata 数据库的所有权限(某个数据库的所有权限)
Grant all privileges on hive_metadata.* hive@% identified by ‘hive’
Flush privileges; //刷新系统权限表
格式:grant 权限 on 数据库.* to 用户名@登录主机 identified by ‘密码’

hive安装配置

sudo tar –zxf apache-hive-bin.tar.gz –C /usr/local/hadoop-2.7.5/hive-2.1.1

a. 添加hive目录权限
Sudo chmod 777 hive-2.1.1 (添加文件夹 读写执行操作)
b. 配置hive-site.xml
在 hive/conf 目录下

Sudo cp hive-default.xml.template hive-site.xml
修改属性值:
ConnectionURL jdbc:mysql:/127.0.1:3306/hive_metadata?createDatabaseIfNotExist=true
ConnectionDriverName com.mysql.jdbc.Driver
ConnectionUserName hive
ConnectionPassword hive

c. 配置 hive-env.sh
Sudo cp hive-env.sh.template hive-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export HIVE_HOME=/usr/local/hadoop-2.7.5/hive-2.1.1
export HADOOP_HOME=/usr/local/hadoop-2.7.5

d. 配置 hive-config.sh
在 hive/bin 目录下;
文件最后添加:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export HIVE_HOME=/usr/local/hadoop-2.7.5/hive-2.1.1
export HADOOP_HOME=/usr/local/hadoop-2.7.5

e. 配置驱动包 到hive/lib下
下载mysql-connector驱动,拷贝到hive/lib下:

f. 配置环境变量
Sudo vim /etc/profile
#hive
export HIVE_HOME=
export PATH=
Source /etc/profile

所有配置完后 进行元数据库初始化后启动
schematool -dbType mysql –initSchema
hive


最简单直接的修改方式:
在hive-site.xml文件中添加如下属性:

system:java.io.tmpdir
/usr/local/hadoop-2.7.5/hive-2.1.1/tmp


system:user.name
hive

2.在hive中输入show tables; 时, 报错:
WARN: Establishing SSL connection without server’s identity verification is not recommended.
可能问题:是mysql-connector版本过高,而hive版本不支持高版本mysql-connector的SSL,换低版本驱动即可。
3.在hive中输入show tables;时,报错:
Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
可知:Hive2需要hive元数据库初始化:
schematool -dbType mysql -initSchema

h. Hive 中导入csv文件
Load data local inpath ‘/usr/local/ca.csv’ overwrite into table car;

i.

www.htsjk.Com true http://www.htsjk.com/hive/37151.html NewsArticle Hive部署, 配置环境 Hadoop2.7.5 + hive2.1.1+mysql5.5 (注释: 重启mysql服务: ‘service mysql restart’ 停止mysql服务: ‘service mysql stop’ 查看mysql服务状态: ‘service mysql status’) 创建 hive 用户...
相关文章
    暂无相关文章
评论暂时关闭