Hbase集群搭建,
前言
hbase集群搭建,没有太多可以说的东西,几乎就是照葫芦画瓢。有什么地方不懂或是报错,可以评论,博主会做些修改,若有急需解决问题的,也可直接联系博主,不忙的情况下,博主帮忙解决
本篇hbase是基于HA上的,常规安装也能用,关于HA搭建和ZK搭建,这里就不赘述。
环境说明
工具:
虚拟机vmware
操作系统红帽7(red hat 7)
zookeeper 3.4.5
环境拟定:三节点,主机分别叫node1,node2,node3,ip分别对应:192.168.163.131、192.168.163.130、192.168.163..132
环境准备:一个正常HA环境。这是我的HA环境搭建教程:http://blog.csdn.net/m0_37590135/article/details/74024929
1、下载
下载地址:https://archive.cloudera.com/cdh5/cdh/5/
2、安装
安装没什么好说的,tar zxvf 文件名,解压归档就完事,然而还是上个图。
3、集群原理
这里就介绍大框架上的东西,能帮助各位理解集群,更好的安装集群就行,至于其他的部分,这里就不深入讨论
hbase是一个传统的主从结构的集群,Master控制节点的,是由HMaster完成对各个节点的控制的,他与HA中namenode概念一致。而HA中的datanode则在hbase中的角色是regionServer,实际数据实在RegionServer中。
并且Hbase也是可以启动多个Maseter的,实际上他就是在HDFS的一些数据文件,根据HDFS的集群模型去理解Hbase集群,也没毛病。
Hbase的单点guzhang
4、配置文件配置
4.1、基于OS的环境配置
为了简化后续操作,建议把安装目录下的bin目录放进path里面。[root@node1 bin]# vi /etc/profile
4.2、hbase的配置
${HBASE_HOME}/conf中的hbase-env.sh文件,配置java_home${HBASE_HOME}/conf中的regionservers文件,输入作为RS的节点,一行一个,可以是主机名,也可以是IP
${HBASE_HOME}/conf中的hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cam/hbase</value>//指定hbase根目录存于哪里。这里指定了存在hdfs中,并且cam,与hdfs-site中配置的ha集群名字一致
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
//指定hbase的集群模式
//false:即为交给zk管理,伪分布式模式
//true:即为完全分布式模式,不交给zk管理
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,node3</value>
//指向zk各节点
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
//hbase链接zk超时时间,可根据具体网络及业务现场来指定
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
//zk端口,zk集群安装时候若未改,一般默认2181
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
//HMaster信息交互端口,由于这里是HA模式,另一个配置项配置HMaster信息的选项就不用了
</property>
<property>
<name>hbase.master.port</name>
<value>60000</value>
//HMaster主端口
</property>
</configuration>注意!然后把ha中的core-site.xml和hdfs-site.xml一起拷入当前目录conf下。
如果没有这一步,hbase不认识你的ha集群服务。
4.3、发放给各个节点
scp -r 目录 登录用户@主机:指定路径分发给各个节点。
5、启动
选择其中一个NN的主机,这里楼主用node1,即是NN1也是DN[root@node1 local]# start-hbase.sh启动完毕。之后查看进程通过JPS
查看master节点是否HMaster启动成功,查看各个节点HRegionServer是否启动 ==================================================================================================================================== 解析: 这只是一种最便捷的启动方式,也可以分步启动 1、 hadoop-deamon.sh start master 启动HMaster hadoop-deamon.sh start regionserver 需要在各个节点启动RS(只启动一个RS时,jps是看不到进程的,需要全部启动)
2、对于RS的启动,也可以在一个节点下。使用 hadoop-deamons.sh start regionserver 来一次启动多个RS ====================================================================================================================================
6、验证
通过hbase shell进入到hbase命令界面。进行实际数据库操作即可博文不仅仅是防止知识点忘记,也是回馈众多作者们的教导,以此回馈社会