Hive部署,
配置环境
Hadoop2.7.5 + hive2.1.1+mysql5.5
(注释:
重启mysql服务: ‘service mysql restart’
停止mysql服务: ‘service mysql stop’
查看mysql服务状态: ‘service mysql status’)
创建 hive 用户
1. Mysql –u root –p
2. CREATE USER ‘hive’@’%’ IDENTIFIED BY ‘hive’; //创建用户
3. GRANT ALL PRIVILEGES ON *.* TO ‘hive’@’%’ WITH GRANT OPTION 增加用户权限
4. Flush privileges; 刷新权限
5. Select user,host from mysql.user; 查询 mysql 用户及权限
###建立hive的专用元数据库,使用hive账号登录
- Mysql –uhive –phive
- CREATE DATABASE hive_metadata
授权hive 用户拥有 hive_metadata 数据库的所有权限(某个数据库的所有权限)
Grant all privileges on hive_metadata.* hive@% identified by ‘hive’
Flush privileges; //刷新系统权限表
格式:grant 权限 on 数据库.* to 用户名@登录主机 identified by ‘密码’
hive安装配置
sudo tar –zxf apache-hive-bin.tar.gz –C /usr/local/hadoop-2.7.5/hive-2.1.1
a. 添加hive目录权限
Sudo chmod 777 hive-2.1.1 (添加文件夹 读写执行操作)
b. 配置hive-site.xml
在 hive/conf 目录下
Sudo cp hive-default.xml.template hive-site.xml
修改属性值:
ConnectionURL jdbc:mysql:/127.0.1:3306/hive_metadata?createDatabaseIfNotExist=true
ConnectionDriverName com.mysql.jdbc.Driver
ConnectionUserName hive
ConnectionPassword hive
c. 配置 hive-env.sh
Sudo cp hive-env.sh.template hive-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export HIVE_HOME=/usr/local/hadoop-2.7.5/hive-2.1.1
export HADOOP_HOME=/usr/local/hadoop-2.7.5
d. 配置 hive-config.sh
在 hive/bin 目录下;
文件最后添加:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export HIVE_HOME=/usr/local/hadoop-2.7.5/hive-2.1.1
export HADOOP_HOME=/usr/local/hadoop-2.7.5
e. 配置驱动包 到hive/lib下
下载mysql-connector驱动,拷贝到hive/lib下:
f. 配置环境变量
Sudo vim /etc/profile
#hive
export HIVE_HOME=
export PATH=
Source /etc/profile
所有配置完后 进行元数据库初始化后启动
schematool -dbType mysql –initSchema
hive
最简单直接的修改方式:
在hive-site.xml文件中添加如下属性:
system:java.io.tmpdir
/usr/local/hadoop-2.7.5/hive-2.1.1/tmp
system:user.name
hive
2.在hive中输入show tables; 时, 报错:
WARN: Establishing SSL connection without server’s identity verification is not recommended.
可能问题:是mysql-connector版本过高,而hive版本不支持高版本mysql-connector的SSL,换低版本驱动即可。
3.在hive中输入show tables;时,报错:
Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
可知:Hive2需要hive元数据库初始化:
schematool -dbType mysql -initSchema
h. Hive 中导入csv文件
Load data local inpath ‘/usr/local/ca.csv’ overwrite into table car;
i.