HBASE，

HBASE

• HBASE与关系型数据库
• HBASE与HIVE
• HBASE表结构
• HBASE集群架构及表存储机制
• HBASE基本语法
• 过滤器
• HBASE连接池技术

HBASE与关系型数据库

  Oracle、MySQL和HBASE比较：Oracle和MySQL是传统的关系型数据库，优势在于处理复杂的表与表之间的关系，进行各种复杂的关系查询。HBASE是没有表关联的，不提供表的关联查询，它对于这种关系的处理是不擅长的，属于NoSQL的范围，只适合做简单的查询，基本上不支持事务性。

HBASE与HIVE

   Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为MapReduce.。虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询。因为它只能够在Haoop上批量的执行Hadoop。
  HBASE是一种Key-Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列族。列簇必须使用schema定义，列族将某一类型列集合起来（列不要求schema定义）。每一个 key-value对在HBASE中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在HBASE中，行是key-value映射的集合，这个映射通过row-key来唯一标识。Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。HBASE非常适合用来进行大数据的实时查询。 Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎，并且运行MapReduce任务，HBASE是一种在Hadoop之上的NoSQL 的Key-value数据库。

HBASE表结构

  HBASE表结构：建表时，不需要限定表中的字段，只需要指定若干个列族。插入数据时，列族中可以存储任意多个列（k-v，列名-列值）。HBASE去更改一个字段的时候，不会把原来的值给删除掉，而是通过版本号去区分。要查询某一具体字段的值，需要指定表名->行键->列族（ColumnFamily）：列名（Qualifier）->版本。
  与nosql数据库一样，row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式：
 1）通过单个row key访问
 2）通过row key的range
 3）全表扫描
  在HBASE内部，row key保存为字节数组。存储时，数据按照row key的字典序（byte order）排序存储。设计key时，要充分利用排序存储这个特性，将经常一起读取的行存储放到一起。
  Cell是由（row key，columnFamily，version）唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。每个cell中都保存着同一份数据的多个版本。版本通过时间戳来索引。每个cell中，不同版本的数据按照时间戳排序，即最新的数据排在最前面。为了避免数据存在过多版本造成的管理（包括存贮和索引）负担，HBASE提供了两种数据版本回收方式，一是保存数据的最后n个版本，二是保存最近一段时间内的版本。

HBASE集群架构及表存储机制

  HBASE将一个用户的数据分为很多的Region，Region是分布式存储的，存放在不同的Region Server上。Region Server会把Region中的数据形成一些文件HFile，存在HDFS中。Region Server物理上通常跟DataNode在一台机器上，可以免除网络传输。

  HBASE表的若干行就是一个region，每个region有一个起始行键、终止行键。还有一个系统表（META表）不需要我们建，META表的行键:表-行键范围，value：主机（192.168.1.35）。然后还会有一个Root表，存在region server上（凡是表都存在region server上），在zookeeper中存放root表的信息。HBASE依赖Zookeeper保存Hmaster的地址和backup-master地址。保存表-ROOT-的地址。HMaster用于管理HregionServer；做增删该查表的节点；管理HregionServer中的表分配。
  如果要查询table_1第10020010行数据，先去Zookeeper上找到/hbase/ROOT，然后找到ROOT表里的某一行，就能定位到META表的Region，定义到Region再从META表的行键找到某一行，找到某一台主机，再找某一个Region，再找Region Server就可以把某一行拿到。这个就是它的寻址——三级机制。寻址的过程，客户端去查数据之后，并不用每次都去找，客户端会把找过一次的路径缓存起来，如果下次找的还是同样的region则直接找region server，因为查数据经常会查一些连续的数据。
  Hlog记录了一些对表的最新操作。一个region在region server中存成很多store，一个store对应一个列族。每一个store不光存了文件，还有一个MemStore，会把访问频次较高或最热的数据放在MemStore中。这样查询的时候就不用读取磁盘文件，在内存中就可以。关键是把大量的hot数据放在MemStore中，所以它才能支持高速的随机访问。

写流程：
 1、client向HRegionserver发送写请求
 2、HRegionserver将数据写到HBlog（write ahead log）。为了数据的持久化和恢复
 3、HRegionserver将数据写到内存（Memstore）
 4、反馈client写成功
数据更新过程：
 1、当Memstore数据达到阈值（默认是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据，并将数据存储到HDFS中
 2、在HLog中做标记点
数据合并过程：
 1、当数据快达到4块，HMaster将数据块加载到本地，进行合并
 2、当合并的数据超过256M，进行拆分，将拆分后的region分配给不同的HRegionServer管理
 3、当HRegionServer宕机后，将HRegionServer上的HLog拆分，然后分配给不同的HRegionServer加载，修改_META_
 4、注意：HLog会同步到HDFS
HBASE的读流程
 1、通过ZooKeeper和_ROOT_，_META_表定位HRegionServer
 2、数据从内存和硬盘合并后返回给client
 3、数据块会缓存
  HMaster的职责是管理用户对Table的增、删、改、查操作；记录region在哪台HRegionServer上；在Region Split后，负责新Region的分配；新机器加入时，管理HRegionServer的负载均衡，调整Regions分布；在HRegionServer宕机后，负责失效HRegionServer上的迁移。HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBASE中最核心的模块。HRegionServer管理了很多table的分区，也就是region。HBASE client使用HBASE的RPC机制与HMaster和RegionServer进行通信。管理类操作——client与HMaster进行RPC；数据读写类操作：client与HRegionServer进行RPC。

HBASE基本语法

list  //显示hbase中的表
//创建user表，包含info、data两个列族
create 'user','info','data'
create 'user',{NAME=>'info',VERSION=>'3'}

//向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsan
put 'user','rk0001','info:name','zhangsan'

//向user表中插入信息，row key为rk0001,列族info中添加genger列标示符，值为female
put 'user','rk0001','info:gender','female'

//向user表中插入信息，row key为rk0001,列族info中添加age列标示符，值为20
put 'user','rk0001','info:age',20

//向user表中插入信息，row key为rk0001,列族info中添加pic列标示符，值为picture
put 'user','rk0001','info:pic','picture'

//获取user表中row key为rk0001的所有信息
get 'user','rk0001'

//获取user表中row key为rk0001的所有信息,info列族的所有信息
get 'user','rk0001','info'

//获取user表中row key为rk0001的所有信息，info列族的name、age列标示符的信息
get 'user','rk0001','info:name','info:age'

//获取user表中row key为rk0001的所有信息，info、data列族的信息
get 'user','rk0001','info','data'
get 'user','rk0001',{COLUMN=>['info','data']}
get 'user','rk0001',{COLUMN=>['info:name','data:pic']}

//获取user表中row key为rk0001的所有信息，列族为info，版本号最新5个的信息
get 'user','rk0001',{COLUMN=>'info',VERSIONS=>2}
get 'user','rk0001',{COLUMN=>'info:name',VERSIONS=>5}
get 'user','rk0001',{COLUMN=>'info:name',VERSIONS=>5,TIMERANGE=>[1392368783980,1392380169184]}

//获取user表中row key为rk0001,cell的值为zhangsan的信息
get 'people','rk0001',{FILTER=>"ValueFilter(=,'binary:图片')"}

//删除user表row key为rk0001，列标示符为info：name的数据
delete 'people','rk0001','info:name'
//删除user表row key为rk0001，列标示符为info：name，timestamp为1392383705316的数据
delete 'user','rk0001','info:name',1392383705316

//清空user表中的数据
truncate 'people'

//修改表结构
disable 'user'//首先停用user表
//添加两个列族f1和f2
alter 'people',NAME=>'f1'
alter 'user',NAME=>'f2'
//启用表
enable 'user'

//删除一个列族
alter 'user',NAME=>'f1',METHOD=>'delete'
//添加列族f1同时删除列族f2
alter 'user',{NAME=>'f1'},{NAME=>'f2',METHOD=>'delete'}

过滤器

rowKey过滤器——RowFilter
  通常根据rowkey来指定范围时，使用scan扫描器的StartRow和StopRow方法比较好。

public void scanDataByFilter() throws Exception{
		Filter f=new RowFilter(CompareOp.EQUAL,new RegexStringComparator("^No_200"));//匹配以No_200
		 Scan scan=new Scan();
			//设置过滤器
		    scan.setFilter(f);
		    ResultScanner scanner=table.getScanner(scan);
		    for(Result result:scanner) {
		    	byte[] value=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("name")); 
				byte[] sex=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("sex"));
				byte[] address=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("address"));
				byte[] age=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("age"));
				System.out.println(Bytes.toString(value));
				System.out.println(Bytes.toInt(age));
				System.out.println(Bytes.toInt(sex));
				System.out.println(Bytes.toString(address));
		    }
	}

列值前缀过滤器——ColumnPrefixFilter

public void scanDataByFilter() throws Exception{
		//创建列值前缀过滤器
		ColumnPrefixFilter columnPrefixFilter=new ColumnPrefixFilter(Bytes.toBytes("name"));//
	    Scan scan=new Scan();
		//设置过滤器
	    scan.setFilter(columnPrefixFilter);
	    ResultScanner scanner=table.getScanner(scan);
	    for(Result result:scanner) {
	    	byte[] value=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("name")); 
			byte[] sex=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("sex"));
			byte[] address=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("address"));
			byte[] age=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("age"));
			System.out.println(Bytes.toString(value));
			System.out.println(Bytes.toInt(age));
			System.out.println(Bytes.toInt(sex));
			System.out.println(Bytes.toString(address));
	    }
	}

多个列值前缀过滤器——MultipleColumnPrefixFilter

Scan scan=new Scan();
byte[][] prefixes=new byte[][](Bytes.toBytes("value1"),Bytes.toVytes("value2"));
Filter f=new MultipleColumnPrefixFilter(prefixes);
scan.setFiler(f);

联合过滤器，比如：SingleColumnValueFilter和RowFilter组合

//若想两个过滤联合作用
	public void scanDataByFilter() throws Exception{
		FilterList filterList=new FilterList(FilterList.Operator.MUST_PASS_ALL);//两个过滤器条件必须均满足
		Filter f=new RowFilter(CompareOp.EQUAL,new RegexStringComparator("^No_200"));//匹配以No_200
		SingleColumnValueFilter singleColumnValueFilter=new SingleColumnValueFilter(Bytes.toBytes("info1"),Bytes.toBytes("name"),CompareOp.EQUAL,Bytes.toBytes("zhangsan")); 
		filterList.addFilter(filterList);
		filterList.addFilter(f);
		Scan scan=new Scan();
			//设置过滤器
		    scan.setFilter(filterList);
		    ResultScanner scanner=table.getScanner(scan);
		    for(Result result:scanner) {
		    	byte[] value=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("name")); 
				byte[] sex=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("sex"));
				byte[] address=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("address"));
				byte[] age=result.getValue(Bytes.toBytes("info2"),Bytes.toBytes("age"));
				System.out.println(Bytes.toString(value));
				System.out.println(Bytes.toInt(age));
				System.out.println(Bytes.toInt(sex));
				System.out.println(Bytes.toString(address));
		    }
	}

HBASE连接池技术

String hbase_zookeeper_quorum=p1.getProperty("hbase_zookeeper_quorum");//地址
String hbase_zookeeper_property_clientPort=p1.getProperty("hbase_zookeeper_property_clientPort");//端口
int hbase_pool_size=Integer.parseInt(p1.getProperty("hbase_pool_size"));//连接池
Constants.HBASE_WRITE_BUFFER=Long.parseLong(p1.getProperty("hbaseWriteBuffer")); //文件检索目录
Constants.CONFIG=HBaseConfiguration.create();//创建配置信息类
Constants.CONFIG.set("hbase.zookeeper.quorum",hbase_zookeeper_quorum);//zookeeper的地址
Constants.CONFIG.set("hbase.zookeeper.property.clientPort",hbase_zookeeper_property_clientPort);//zookeeper的端口号
Constants.CONNECTION=ConnectionFactory.createConnection(Constants.CONFIG);

这里HBASE获取connection的方法是

Connection connection = ConnectionFactory.createConnection(conf);

一个进程对应着一个connection，每个应用里的线程通过调用coonection的getTable()方法，从connection维护的线程池里获得table实例，而且这种方式获得的table是线程安全的。每次table读写之后应该把table close掉，整个进程结束的时候才把connection close掉。