欢迎投稿

今日深度:

伪分布式和分布式配置HBase,编辑/etc/pro

伪分布式和分布式配置HBase,编辑/etc/pro


文章目录

  • 版本情况:
  • 基础配置
    • Hbase安装
  • HBase配置
  • 伪分布式模式配置
  • 完全分布式模式配置
    • 一、HMaster配置

版本情况:

HBase版本为hbase-1.1.5
Ubuntu 16.04
hbase网盘地址
链接:https://pan.baidu.com/s/1mx9-ydA8wzWEKoGdPQ2uZA
提取码:0830


基础配置

Hbase安装

先将安装包安装到我们的ubuntu下
这里安装过lrzsz,直接将本地文件拖拽到ubuntu
1.1 解压安装包hbase-1.1.5-bin.tar.gz至路径 /app,命令如下:

tar -zxf hbase-1.1.5-bin.tar.gz -C /app

1.2 将解压的文件名hbase-1.1.5改为hbase,以方便使用,命令如下:

mv /app/hbase-1.1.5 /app/hbase

1.3 配置环境变量
将hbase下的bin目录添加到path中,这样,启动hbase就无需到/app/hbase目录下,大大的方便了hbase的使用。

编辑/etc/profile文件

sudo vim /etc/profile

如果没有引入过PATH请在/etc/profile文件尾行添加如下内容:

export PATH=$PATH:/usr/local/hbase/bin

如果已经引入过PATH请在export PATH这行追加/app/hbase/bin,这里的“:”是分隔符。
编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:

source /etc/profile

1.4 添加HBase权限

cd /app #安装hbase的上一级目录
sudo chown -R root ./hbase	

#将hbase下的所有文件的所有者改为root,root是当前用户的用户名。
1.5 查看HBase版本,确定hbase安装成功,命令如下:

/app/hbase/bin/hbase version

没有配置hbase_home的路径 只能在指定路径进行验证

看到以上输出消息表示HBase已经安装成功

HBase配置

HBase有三种运行模式,单机模式、伪分布式模式、分布式模式。作为学习,我们重点讨论单机模式和伪分布式模式。
以下先决条件很重要,比如没有配置JAVA_HOME环境变量,就会报错。
– jdk
– Hadoop( 单机模式不需要,伪分布式模式和分布式模式需要)
– SSH

伪分布式模式配置

1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下:

vi /app/hbase/conf/hbase-env.sh

配置JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机Hbase安装目录下的conf目录(即/app/hbase/conf)

export JAVA_HOME=/app/jdk1.8.0_321  #自己的jdk路径
export HBASE_CLASSPATH=/app/hbase/conf
export HBASE_MANAGES_ZK=true  #使用hbase自带的zookeeper


2.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打开并编辑hbase-site.xml,命令如下:

vi /app/hbase/conf/hbase-site.xml

修改hbase.rootdir,指定HBase数据在HDFS上的存储路径;将属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下,在本机上运行,且NameNode运行在9000端口。

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>

hbase.rootdir指定HBase的存储目录;hbase.cluster.distributed设置集群处于分布式模式.
3. 接下来测试运行HBase。
第一步:首先登陆ssh,之前设置了无密码登陆,因此这里不需要密码;再切换目录至/usr/local/hadoop;再启动hadoop,如果已经启动hadoop请跳过此步骤。命令如下:

Ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

输入命令jps,能看到NameNode,DataNode和SecondaryNameNode都已经成功启动,表示hadoop启动成功,截图如下:

赋给用户hbase目录的读写权限
cd /app
chmod –R 777 hbase
第二步:切换目录至/app/hbase;再启动HBase.命令如下:

cd /app/hbase/bin
start-hbase.sh


进入shell界面:

bin/hbase shell


注意:如果在操作HBase的过程中发生错误,可以通过{HBASE_HOME}目录(/app/hbase)下的logs子目录中的日志文件查看错误原因。
这里启动关闭Hadoop和HBase的顺序一定是:
启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

完全分布式模式配置

集群规划:
HMaster: 192.168.80.140 Master
RegionServer:192.168.80.141 myslave1
RegionServer:192.168.80.142 myslave2
每台主机都预先安装好JDK

一、HMaster配置

1.解压安装包

tar -zxf hbase-1.1.5-bin.tar.gz -C /app
mv /app/hbase-1.1.5 /app/hbase

赋给用户hbase目录的读写权限

cd /app
chmod –R 777 hbase

2.创建zookeeper数据目录

cd /app/hbase
mkdir zookeeper

3.配置环境变量
编辑/etc/profile文件
sudo vim /etc/profile
在/etc/profile文件尾行添加如下内容:

export HBASE_HOME=/app/hbase   #hbase的安装路径
export PATH=$PATH:$HBASE_HOME/bin

编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:

source /etc/profile

执行:hbase version,显示版本安装成功
4.配置/app/hbase/conf/hbase-env.sh。命令如下:
vim /app/hbase/conf/hbase-env.sh

配置JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK.
HBASE_CLASSPATH设置为本机Hbase安装目录下的conf目录(即/app/hbase/conf)

export JAVA_HOME=/app/jdk1.8.0_321  #jdk的安装路径
export HBASE_CLASSPATH=/app/hbase/conf
export HBASE_MANAGES_ZK=true

5.配置/usr/local/hbase/conf/hbase-site.xml
用命令vi打开并编辑hbase-site.xml,命令如下:
vim /app/hbase/conf/hbase-site.xml

<configuration>
<!-- Hbase数据保存的hdfs对应目录 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://Master:9000/hbase</value>
</property>
<!-- 是否是分布式环境 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 配置ZK的地址,3个节点都启用zookeeper -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>Master,myslave1,myslave2</value>
</property>
<!-- 冗余度 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--/从节点允许的最大时间误差 -->
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<!-- zookeeper数据目录 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/hbase/zookeeper</value>
</property>
</configuration>


6.修改配置文件regionservers
在hbase/conf下
将里面的内容改为:
Master
myslave1
myslave2

7.将主节点的hbase目录复制到从节点
root@Master:/usr/local# scp -r hbase myslave1:/usr/local
root@Master:/usr/local# scp -r hbase myslave2:/usr/local
把hbase拷贝到从节点的 /usr/local
8. 接下来测试运行HBase。

start-dfs.sh
Start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
start-hbase.sh

启动成功,输入命令jps,看到以下界面说明hbase启动成功




 进入shell界面:
hbase shell

WEB页面查看
HBase Master服务器:http://Master节点 IP:16010/

9.停止HBase运行,命令如下:
stop-hbase.sh

www.htsjk.Com true http://www.htsjk.com/hbase/46060.html NewsArticle 伪分布式和分布式配置HBase,编辑/etc/pro 文章目录 版本情况 基础配置 Hbase安装 HBase配置 伪分布式模式配置 完全分布式模式配置 一、HMaster配置 版本情况 HBase版本为hbase-1.1.5 Ubuntu 16.04...
评论暂时关闭