HBase基础，

HBase基础，

1.简介： Hbase是高可靠、高性能、面向列、可伸缩、实时读写的分布式数据库 利用HDFS作为其文件存储系统，利用mapreduce处理hbase中的海量数据，利用ZooKeeper作为分布式协同服务 主要用来存储非结构化和半结构化的松散数据
2.概念介绍： rowkey 决定一行数据，按照字典顺序排序，只能存储64K字节数据 设计row key时，要充分利用这个排序特点，将经常一起读取的数据存储到一块，将最近可能会被访问的数据放在一块。
HBase中row key用来检索表中的记录，支持以下三种方式： · 通过单个row key访问：即按照某个row key键值进行get操作； · 通过row key的range进行scan：即通过设置startRowKey和endRowKey，在这个范围内进行扫描； · 全表扫描：即直接扫描整张表中所有行记录。
3.Rowkey规则： 1、 越小越好 2、 Rowkey的设计是要根据实际业务来 3、 散列性 a) 取反   123 取反后为321 b) Hash
4.列族 hbase表中每个列都属于一个列族，列族作为表模式定义的一部分预先定义 列名是以列族作为前缀，每个“列族”都可以有多个列成员(column)，新的列族成员（列）可以随后按需、动态加入 权限控制，存储以及调优都是在列族层面进行的 Hbase把同一列的数据存储在同一个目录中 不要在一张表里定义太多的column family。目前Hbase并不能很好的处理超过2~3个column family的表。因为某个column family在flush的时候，它邻近的column family也会因关联效应被触发flush，最终导致系统产生更多的I/O
5.时间戳： hbase中每个cell对同一个数据有多个版本，默认使用时间戳管理，不同版本的数据按照时间倒序排序 时间戳的类型是64位整型 时间戳可以由hbase（在数据写入时自动）赋值 时间戳可以由客户赋值
6.cell单元格： 单元格是有版本的 由{rowkey,column(=family+qualifier),version}唯一确定的单元
7.HLog HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，HLog SequeceFile的Value是HBase的KeyValue对象
8.Hbase体系架构 注：StoreFile和HFile代表的同一个数据文件，StoreFile为内存数据，HFile为磁盘数据
ZooKeeper：

• 保证任何时候集群都只有一个master
• 存储所有Regionn的寻址入口，实时监控Region server的上线和下线信息
• 存储Hbase的schema和table的元数据

Mater

• 为Region server分配region
• 负责Region server的负载均衡
• 发现失效的Region server并重新分配其上的region
• 管理用户对table的增删改操作

Region server 维护region，处理对这些region的IO请求 Region server负责切分在运行过程中变得过大的region
9.Hbase存储模型 Hbase自动把表水平划分为多个区域，每个region保存一个表里某段连续的数据，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候
Hbase数据模型 HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的 HRegion server上 MemStore和storeFile 一个region由多个store组成，一个store对应一个Column Family store包括位于内存中的memstore和位于磁盘的storefile 写操作先写入memstore，当memstore中的数据达到某个阈值，hregionserver会启动flashcache进程写入storefile，每次写入形成单独的一个storefile 当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、major compaction），在合并过程中会进行版本合并和删除工作（majar），形成更大的storefile 当一个region所有storefile的大小和数量超过一定阈值后，会把当前的region分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载均衡 客户端检索数据，先到Memstore中查数据，查不到就到BlockCache中查，再查不到就会到磁盘上读，并把读的结果放入BlockCache
Hbase DDL和DML

10.Hbase DDL： 1）删除一个列族 alter 'table_name',{NAME='CF_name',METHOD='delete'} 删除列族的时候必须先将表给disable disable 'table_name' 2）列出所有的表 list 3）drop一个表 disable table_name-->drop table_name