Hive,
1下载hive
下载地址:http://hive.apache.org/downloads.html
2安装
2.1上载和解压缩
在opt目录下新建一个名为hive的目录,将apache-hive-2.1.1-bin.tar.gz拷贝上去
执行进入目录的命令:
cd /opt/hive
执行解压缩的命令:
tar -zxvf apache-hive-2.1.1-bin.tar.gz
2.2配置环境变量
编辑/etc/profile文件,增加hive相关的环境变量配置
export JAVA_HOME=/opt/java/jdk1.8.0_121
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"
export HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export CLASS_PATH=.:{HIVE_HOME}/lib:$CLASS_PATH
export PATH=.:{HADOOP_HOME}/bin:{HIVE_HOME}/bin:$PATH
profile文件编辑完成后,执行下面命令,让配置生效,命令是;
source /etc/profile
2.3对hive进行配置
2.3.1 hive-site.xml相关的配置
2.3.1.1新建hive-site.xml文件
进入到/opt/hive/apache-hive-2.1.1-bin/conf目录,命令是:
cd /opt/hive/apache-hive-2.1.1-bin/conf
将hive-default.xml.template文件复制一份,并且改名为hive-site.xml,命令是:
cp hive-default.xml.template hive-site.xml
2.3.1.2使用hadoop新建hdfs目录
因为在hive-site.xml中有这样的配置:
hive.metastore.warehouse.dir
/user/hive/warehouse
hive.exec.scratchdir
/tmp/hive
所以要让hadoop新建/user/hive/warehouse目录,执行命令:
$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse
给刚才新建的目录赋予读写权限,执行命令:
$HADOOP_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse
让hadoop新建/tmp/hive/目录,执行命令:
$HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp/hive/
2.3.2新建hive-env.sh文件并进行修改
进入到/opt/hive/apache-hive-2.1.1-bin/conf目录,命令是:
cd /opt/hive/apache-hive-2.1.1-bin/conf
将hive-env.sh.template文件复制一份,并且改名为hive-env.sh,命令是:
cp hive-env.sh.template hive-env.sh
打开hive-env.sh配置并且添加以下内容:
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HIVE_CONF_DIR=/opt/hive/apache-hive-2.1.1-bin/conf
export HIVE_AUX_JARS_PATH=/opt/hive/apache-hive-2.1.1-bin/lib
3启动和测试
3.1对MySQL数据库进行初始化
mysql 数据库 创建hive用户
和hive数据库
进入到hive的bin目录 执行命令:
cd /opt/hive/apache-hive-2.1.1-bin/bin
对数据库进行初始化,执行命令:
schematool -initSchema -dbType mysql3.1启动hive
进入到hive的bin目录执行命令:
cd /opt/hive/apache-hive-2.1.1-bin/bin
执行hive脚本进行启动,执行命令:
./hive