欢迎投稿

今日深度:

HBase(5):分布式hbase部署,

HBase(5):分布式hbase部署,


一、准备工作

1.准备完全分布式的hadoop环境
2.准备完全分布式的zk环境
3.节点的时间都要同步好
4.ssh配置好

二、安装和配置cdh版本

1.hbase解压缩到app目录下

tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/app/ 

2.修改hbase-env.sh、hbase-site.xml、regionservers 

(1)HBase-env.sh

export JAVA_HOME=/opt/jdk1.8.0_151
export HBASE_MANAGES_ZK=false

(2)HBase-site.xml

hbase.rootdir:更改为你的hadoop core-site中配置fs.defaultFS
hbase.zookeeper.quorum:将zk的三台主机名添加进去

  <property >
	<name>hbase.rootdir</name>
	<value>hdfs://ns1/hbase</value>
  </property>
  
  <property >
	<name>hbase.cluster.distributed</name>
	<value>true</value>
  </property>
  
  <property>
	<name>hbase.zookeeper.quorum</name>
	<value>bigdata.ibeifeng.com:2181;bigdata.ibeifeng02.com:2181;bigdata.ibeifeng03.com:2181</value> 
  </property>

(3)regionservers

bigdata.ibeifeng.com
bigdata.ibeifeng02.com
bigdata.ibeifeng03.com

3.替换hbase/lib下面对应版本的hadoop和zK的jar包【cdh版本不需要替换】

4.如果你的hadoop是配置了HA,则必须要拷贝hadoop集群的core-site和hdfs-site这两个配置文件到hbase的conf目录下

cp core-site.xml hdfs-site.xml /opt/app/hbase-0.98.6-cdh5.3.6/conf/

5.分发集群

scp -r /opt/app/hbase-0.98.6-cdh5.3.6/ bigdata.ibeifeng02.com:/opt/app/
scp -r /opt/app/hbase-0.98.6-cdh5.3.6/ bigdata.ibeifeng03.com:/opt/app/

三、启动

1.先启动zk,后启动hadoop

(1)启动zk

启动所有ZK的节点 (一台一台开,开3台)  

bin/zkServer.sh start

(2)启动hdfs

开启服务,在01 上   :

cd /opt/app/HA/hadoop-2.5.0-cdh5.3.6/

开启服务

sbin/start-dfs.sh

查看状态:(第一台)

[root@bigdata hadoop-2.5.0-cdh5.3.6]# jps
3011 NameNode
3459 DFSZKFailoverController
3109 DataNode
3317 JournalNode
3535 Jps
2879 QuorumPeerMain

2.启动hbase

(1)第一台启动【启动了1的master和1,2,3的regionserver】

bin/start-hbase.sh

1
[root@bigdata hbase-0.98.6-cdh5.3.6]# jps
3011 NameNode
3109 DataNode
3317 JournalNode
3862 HMaster
3911 Jps
3738 HRegionServer
2879 QuorumPeerMain
2
[root@bigdata zookeeper-3.4.5-cdh5.3.6]# jps
2849 DataNode
3315 HRegionServer
3527 Jps
2712 QuorumPeerMain
2780 NameNode
3052 DFSZKFailoverController
2940 JournalNode
3
[root@bigdata zookeeper-3.4.5-cdh5.3.6]# jps
2688 QuorumPeerMain
3381 Jps
2839 JournalNode
3211 HRegionServer
2748 DataNode

(2)启动master【在第2,3台启动】

bin/hbase-daemon.sh start master

(3)检查

(a)进入master网页

http://bigdata.ibeifeng.com:60010/master-status
Backup Masters下有
	bigdata.ibeifeng02.com
	bigdata.ibeifeng03.com

Tables-》Catalog Tables-》hbase:meta
也可查看meta的在那一台服务器上
	bigdata.ibeifeng03.com:60030

(b)hdfs中

【自己因为02是active,01是standby所以使用02查看】
http://bigdata.ibeifeng02.com:50070/explorer.html#/hbase/WALs
-》每个regionserver都有一个预写日志
	hbase/WALs
	bigdata.ibeifeng.com,60020,1528842094268
	bigdata.ibeifeng02.com,60020,1528842095008
	bigdata.ibeifeng03.com,60020,1528842094929
-》meta元数据
	/hbase/data/hbase/meta

(c)zk查看meta元数据存储位置

【自己在01上】
 cd /opt/app/zookeeper-3.4.5-cdh5.3.6/
bin/zkCli.sh 
然后采用
get /hbase/meta-region-server
		结果:在03机器上
		bigdata.ibeifeng03.com?????,
		cZxid = 0x260000003b
		ctime = Wed Jun 13 06:22:38 CST 2018
		mZxid = 0x260000003b
		....

 

 

 

 

 

www.htsjk.Com true http://www.htsjk.com/hbase/38589.html NewsArticle HBase(5):分布式hbase部署, 一、准备工作 1.准备完全分布式的hadoop环境 2.准备完全分布式的zk环境 3.节点的时间都要同步好 4.ssh配置好 二、安装和配置cdh版本 1.hbase解压缩到app目录下 t...
相关文章
    暂无相关文章
评论暂时关闭