Hbase安装，

Hbase安装，

环境：CentOS6.5  Hadoop2.7.2  HBase1.2.1

1.安装好 hadoop 集群，并启动 

[grid@hadoop4 ~]$ sh hadoop-2.7.2/sbin/start-dfs.sh 
[grid@hadoop4 ~]$ sh hadoop-2.7.2/sbin/start-yarn.sh 

查看 hadoop 版本： 

[grid@hadoop4 ~]$ hadoop-2.7.2/bin/hadoop version 
Hadoop 2.7.2</span>

2.查看 hbase 官方文档（http://hbase.apache.org/book.html#basic.prerequisites），找到与 hadoop 版本对应的 hbase 并下载 

[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/hbase/hbase-1.2.1/hbase-1.2.1-bin.tar.gz 

3.解压 

[grid@hadoop4 ~]$ tar -zxf hbase-1.2.1-bin.tar.gz 

4.进入 hbase 的 lib 目录，查看 hadoop jar 包的版本 

[grid@hadoop4 ~]$ cd hbase-1.2.1/lib/ 
[grid@hadoop4 lib]$ find -name 'hadoop*jar' 
./hadoop-common-2.5.1.jar 
./hadoop-mapreduce-client-common-2.5.1.jar 
./hadoop-annotations-2.5.1.jar 
./hadoop-yarn-server-common-2.5.1.jar 
./hadoop-hdfs-2.5.1.jar 
./hadoop-client-2.5.1.jar 
./hadoop-mapreduce-client-shuffle-2.5.1.jar 
./hadoop-yarn-common-2.5.1.jar 
./hadoop-yarn-server-nodemanager-2.5.1.jar 
./hadoop-yarn-client-2.5.1.jar 
./hadoop-mapreduce-client-core-2.5.1.jar 
./hadoop-auth-2.5.1.jar 
./hadoop-mapreduce-client-app-2.5.1.jar 
./hadoop-yarn-api-2.5.1.jar 
./hadoop-mapreduce-client-jobclient-2.5.1.jar

发现与 hadoop 集群的版本号不一致，需要用 hadoop 目录下的 jar 替换 hbase/lib 目录下的 jar 文件。 hadoop下的jar包都是在$HADOOP_HOME/share/hadoop下的.

编写脚本来完成替换，如下所示： 

[grid@hadoop4 lib]$ pwd
/home/grid/hbase-1.0.0/lib
[grid@hadoop4 lib]$ vim f.sh
find-name "hadoop*jar"| sed's/2.5.1/2.7.2/g' | sed's/\.\///g' > f.log
rm./hadoop*jar
cat./f.log | whileread Line
do
find/home/grid/hadoop-2.7.2 -name "$Line"| xargs-i cp{} ./
done
rm./f.log
[grid@hadoop4 lib]$ chmodu+x f.sh
[grid@hadoop4 lib]$ ./f.sh
[grid@hadoop4 lib]$ find-name 'hadoop*jar'
./hadoop-yarn-api-2.7.2.jar
./hadoop-mapreduce-client-app-2.7.2.jar
./hadoop-common-2.5.2.jar
./hadoop-mapreduce-client-jobclient-2.7.2.jar
./hadoop-mapreduce-client-core-2.7.2.jar
./hadoop-yarn-server-nodemanager-2.7.2.jar
./hadoop-hdfs-2.7.2.jar
./hadoop-yarn-common-2.7.2.jar
./hadoop-mapreduce-client-shuffle-2.7.2.jar
./hadoop-auth-2.7.2.jar
./hadoop-mapreduce-client-common-2.7.2.jar
./hadoop-yarn-client-2.7.2.jar
./hadoop-annotations-2.7.2.jar
./hadoop-yarn-server-common-2.7.2.jar

若要采用命令完成，则如下所示：

我们先cd 到 /opt/hbase-1.2.1/lib下运行命令： rm -rf hadoop*.jar删掉所有的hadoop相关的jar包，然后运行： find /opt/hadoop-2.7.2/share/hadoop -name "hadoop*jar" | xargs -i cp {} /opt/hbase-1.2.1/lib/   拷贝所有hadoop2.7.2下的jar包到hbase的lib目录下进行hadoop版本的统一

OK，jar 包替换成功；hbase/lib 目录下还有个 slf4j-log4j12-XXX.jar，在机器有装hadoop时，由于classpath中会有hadoop中的这个jar包，会有冲突，直接删除掉

[grid@hadoop4 lib]$ rm`find-name 'slf4j-log4j12-*jar'`

5.修改配置文件

5.1. 配置hbase-env.sh文件

[grid@hadoop4 hbase-1.2.1]$ vi conf/hbase-env.sh 
export JAVA_HOME=/usr/java/jdk1.7.0_72 
export HBASE_CLASSPATH=/home/grid/hadoop-2.7.2/etc/hadoop 
export HBASE_MANAGES_ZK=true 

第一个参数指定了JDK路径；第二个参数指定了 hadoop 的配置文件路径；第三个参数设置使用 hbase 默认自带的 Zookeeper 

不管是什么模式，你都需要编辑 conf/hbase-env.sh来告知Hbase java的安装路径.在这个文件里你还可以设置Hbase的运行环境，诸如 heapsize和其他 JVM有关的选项, 还有Log文件地址，等等. 设置 JAVA_HOME指向 java安装的路径.

一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群。这个集群会随着Hbase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.

让Hbase使用一个现有的不被Hbase托管的Zookeep集群，需要设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false

# Tell HBase whether it should manage it's own instanceof Zookeeper or not.

exportHBASE_MANAGES_ZK=false

5.2. 配置hbase-site.xml文件

[grid@hadoop4 hbase-1.2.1]$ vim conf/hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/home/grid/hbase-1.2.1/tmp</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop4,hadoop5,hadoop6</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/grid/hbase-1.2.1/zookeeper</value>
</property>

上述中的hbase.rootdir的value为hadoop中的etc目录下的hadoop目录下的core-site.xml中的dfs的value加/hbase

要想运行完全分布式模式，加一个属性 hbase.cluster.distributed 设置为 true 然后把 hbase.rootdir 设置为HDFS的NameNode的位置。 例如，你的namenode运行在node1，端口是49002 你期望的目录是 /hbase,使用如下的配置：hdfs://node1:49002/hbase

hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在node1的49002端口。则需要设置为hdfs://node1:49002/hbase。默认情况下Hbase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributed ：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

默认: false

在hbase-site.xml配置zookeeper：

当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，

一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。

对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 hbase.zookeeper.quorum. 该这个字段的默认值是 localhost，这个值对于分布式应用显然是不可以的. (远程连接无法使用)。

 

hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置。 客户端连接的端口。

hbase.zookeeper.quorum：Zookeeper集群的地址列表，用逗号分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和Hbase一起启动。

默认: localhost

运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就越高，当然只能部署奇数个，偶数个是不可以的。你需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重，不要把Zookeeper和RegionServer运行在同一台机器上面。就像DataNodes 和 TaskTrackers一样

hbase.zookeeper.property.dataDir：ZooKeeper的zoo.conf中的配置。 快照的存储位置

把ZooKeeper保存数据的目录地址改掉。默认值是 /tmp ，这里在重启的时候会被操作系统删掉，可以把它修改到 /home/hadoop/zookeeper (这个路径hadoop用户拥有操作权限)

对于独立的Zookeeper，要指明Zookeeper的host和端口。可以在 hbase-site.xml中设置, 也可以在Hbase的CLASSPATH下面加一个zoo.cfg配置文件。 HBase 会优先加载 zoo.cfg 里面的配置，把hbase-site.xml里面的覆盖掉.

参见 http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations可以查找hbase.zookeeper.property 前缀，找到关于zookeeper的配置。

创建目录

[grid@hadoop4 hbase-1.2.1]$ mkdir tmp 
[grid@hadoop4 hbase-1.2.1]$ mkdir zookeeper 

5.3. 配置regionservers

[grid@hadoop4 hbase-1.2.1]$ vim conf/regionservers 
hadoop4 
hadoop5 
hadoop6 

完全分布式模式的还需要修改conf/regionservers. 在这里列出了你希望运行的全部 HRegionServer，一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动，集群的停止而停止.
6.设置环境变量 

[grid@hadoop4 ~]$ vi .bash_profile 
export HBASE_HOME=/home/grid/hbase-1.2.1
export PATH=$PATH:$HBASE_HOME/bin 
[grid@hadoop4 ~]$ source .bash_profile

7.分发 hbase 到其它机器，并在其上设置环境变量 

[grid@hadoop4 ~]$ scp -r hbase-1.2.1grid@hadoop5:~ 
[grid@hadoop4 ~]$ scp -r hbase-1.2.1 grid@hadoop6:~ 

8.启动 hbase （在启动hbase之前hadoop必须先启动）

[grid@hadoop4 ~]$ sh start-hbase.sh 
[grid@hadoop4 ~]$ jps 
2388 ResourceManager 
3692 Jps 
2055 NameNode 
3375 HQuorumPeer 
2210 SecondaryNameNode 
3431 HMaster 
[grid@hadoop5 ~]$ jps 
2795 Jps 
2580 HQuorumPeer 
2656 HRegionServer 
2100 NodeManager 
1983 DataNode 
[grid@hadoop6 ~]$ jps 
2566 HQuorumPeer 
1984 DataNode 
2101 NodeManager 
2803 Jps 
2639 HRegionServer

$stop-all.sh          //停止hbase

如果在操作Hbase的过程中发生错误，可以通过hbase安装主目录下的logs子目录查看错误原因。

jps查看发现 Master 机上 HRegionServer 服务未启动，查看日志显示因16020端口被占用导致 HRegionServer 启动失败，查证发现占用16020端口的是 HMaster 进程，查看官方文档后解决：[grid@hadoop4 ~]$ sh local-regionservers.sh start 2 
官方文档截图： 
 

9.shell 
 

10.Web管理界面 

 

11运行和确认安装

11.1当Hbase托管ZooKeeper的时候

当Hbase托管ZooKeeper的时候Zookeeper集群的启动是Hbase启动脚本的一部分

首先确认你的HDFS是运行着的。你可以运行HADOOP_HOME中的 bin/start-hdfs.sh 来启动HDFS.你可以通过put命令来测试放一个文件，然后有get命令来读这个文件。通常情况下Hbase是不会运行mapreduce的。所以比不需要检查这些。

用如下命令启动Hbase:

bin/start-hbase.sh

这个脚本在HBASE_HOME目录里面。

你现在已经启动Hbase了。Hbase把log记在 logs 子目录里面. 当Hbase启动出问题的时候，可以看看Log.

Hbase也有一个界面，上面会列出重要的属性。默认是在Master的60010端口上H (HBase RegionServers 会默认绑定 60020端口，在端口60030上有一个展示信息的界面 ).如果Master运行在 node1，端口是默认的话，你可以用浏览器在 http://node:60010看到主界面. .

一旦Hbase启动，可以看到如何建表，插入数据，scan你的表，还有disable这个表，最后把它删掉。

可以在Hbase Shell停止Hbase

$./bin/stop-hbase.sh

stoppinghbase...............

停止操作需要一些时间，你的集群越大，停的时间可能会越长。如果你正在运行一个分布式的操作，要确认在Hbase彻底停止之前，Hadoop不能停.

11.2独立的zookeeper启动，

除了启动habse，

执行：bin/start-hbase.sh启动habse

你需要自己去运行zookeeper：

${HBASE_HOME}/bin/hbase-daemons.sh {start,stop} zookeeper

你可以用这条命令启动ZooKeeper而不启动Hbase. HBASE_MANAGES_ZK 的值是 false， 如果你想在Hbase重启的时候不重启ZooKeeper,你可以这样。

参考：http://blog.csdn.net/hguisu/article/details/7244413