HBase(5):分布式hbase部署,
一、准备工作
1.准备完全分布式的hadoop环境
2.准备完全分布式的zk环境
3.节点的时间都要同步好
4.ssh配置好
二、安装和配置cdh版本
1.hbase解压缩到app目录下
tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/app/
2.修改hbase-env.sh、hbase-site.xml、regionservers
(1)HBase-env.sh
export JAVA_HOME=/opt/jdk1.8.0_151
export HBASE_MANAGES_ZK=false
(2)HBase-site.xml
hbase.rootdir:更改为你的hadoop core-site中配置fs.defaultFS
hbase.zookeeper.quorum:将zk的三台主机名添加进去
<property >
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<property >
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>bigdata.ibeifeng.com:2181;bigdata.ibeifeng02.com:2181;bigdata.ibeifeng03.com:2181</value>
</property>
(3)regionservers
bigdata.ibeifeng.com
bigdata.ibeifeng02.com
bigdata.ibeifeng03.com
3.替换hbase/lib下面对应版本的hadoop和zK的jar包【cdh版本不需要替换】
4.如果你的hadoop是配置了HA,则必须要拷贝hadoop集群的core-site和hdfs-site这两个配置文件到hbase的conf目录下
cp core-site.xml hdfs-site.xml /opt/app/hbase-0.98.6-cdh5.3.6/conf/
5.分发集群
scp -r /opt/app/hbase-0.98.6-cdh5.3.6/ bigdata.ibeifeng02.com:/opt/app/
scp -r /opt/app/hbase-0.98.6-cdh5.3.6/ bigdata.ibeifeng03.com:/opt/app/
三、启动
1.先启动zk,后启动hadoop
(1)启动zk
启动所有ZK的节点 (一台一台开,开3台)
bin/zkServer.sh start
(2)启动hdfs
开启服务,在01 上 :
cd /opt/app/HA/hadoop-2.5.0-cdh5.3.6/
开启服务
sbin/start-dfs.sh
查看状态:(第一台)
[root@bigdata hadoop-2.5.0-cdh5.3.6]# jps
3011 NameNode
3459 DFSZKFailoverController
3109 DataNode
3317 JournalNode
3535 Jps
2879 QuorumPeerMain
2.启动hbase
(1)第一台启动【启动了1的master和1,2,3的regionserver】
bin/start-hbase.sh
1
[root@bigdata hbase-0.98.6-cdh5.3.6]# jps
3011 NameNode
3109 DataNode
3317 JournalNode
3862 HMaster
3911 Jps
3738 HRegionServer
2879 QuorumPeerMain
2
[root@bigdata zookeeper-3.4.5-cdh5.3.6]# jps
2849 DataNode
3315 HRegionServer
3527 Jps
2712 QuorumPeerMain
2780 NameNode
3052 DFSZKFailoverController
2940 JournalNode
3
[root@bigdata zookeeper-3.4.5-cdh5.3.6]# jps
2688 QuorumPeerMain
3381 Jps
2839 JournalNode
3211 HRegionServer
2748 DataNode
(2)启动master【在第2,3台启动】
bin/hbase-daemon.sh start master
(3)检查
(a)进入master网页
http://bigdata.ibeifeng.com:60010/master-status
Backup Masters下有
bigdata.ibeifeng02.com
bigdata.ibeifeng03.com
Tables-》Catalog Tables-》hbase:meta
也可查看meta的在那一台服务器上
bigdata.ibeifeng03.com:60030
(b)hdfs中
【自己因为02是active,01是standby所以使用02查看】
http://bigdata.ibeifeng02.com:50070/explorer.html#/hbase/WALs
-》每个regionserver都有一个预写日志
hbase/WALs
bigdata.ibeifeng.com,60020,1528842094268
bigdata.ibeifeng02.com,60020,1528842095008
bigdata.ibeifeng03.com,60020,1528842094929
-》meta元数据
/hbase/data/hbase/meta
(c)zk查看meta元数据存储位置
【自己在01上】
cd /opt/app/zookeeper-3.4.5-cdh5.3.6/
bin/zkCli.sh
然后采用
get /hbase/meta-region-server
结果:在03机器上
bigdata.ibeifeng03.com?????,
cZxid = 0x260000003b
ctime = Wed Jun 13 06:22:38 CST 2018
mZxid = 0x260000003b
....
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。