欢迎投稿

今日深度:

HBase总结,

HBase总结,


架构组件

       从物理结构上讲,HBase由三种类型的服务器构成主从式架构。Region Servers为数据的读取和写入提供服务。当访问数据时,客户端直接和Region Servers通信。Region的分配,DDL (create, delete tables)操作有HBase Master进程处理。Zookeeper是HDFS的一部分,维护着一个活动的集群。

       Hadoop DataNode 存储着Region Server所管理的数据。所有的HBase数据存储在HDFS的文件中。Region  Server和HDfs DataNode并置在一起,这使得RegionServers所服务的数据具有数据局部性(使数据接近需要的位置)。HBase数据在写入时是本地数据,但是当Region移动时,在压实之前它不是本地数据。

     NameNode维护构成文件的所有物理数据块的元数据信息。

优点

  1. 强一致性模型

         当写入返回时,所有读者将看到相同的值

  2. 自动扩展

        数据增长过大时分割region

        使用HDFS传播和复制数据

  3. 内置恢复机制

        使用预写日志 (与文件系统上的日记类似)

  4. 集成Hadoop

        MHBase上的MapReduce很简单

Regions

     HBase表是按照rowkey范围水平划分为“Regions”.Region包含表中start key和end  key之间的所有行。Region Server将Regions分配到集群的节点中,并对数据的读取和写入提供服务。单个Redion Server可服务大约1000个region。

Region Server Components

     Region Server运行在HDFS的DataNode,并且具备以下组件:

        1. WAL:预写日志是分布式文件系统上的文件。WAL用于存储尚未被永久保存的新数据,用于故障情况下的恢复。

        2. BlockCache:是读取缓存。在内存中存储频繁读取的数据,近期最少使用的数据在满时被删除。

        3. MemStore:是写入缓存。存储尚未写入磁盘的数据。在写入磁盘之前进行排序,每个region的每个column family有一个MemStore。

      4. 在磁盘上,Hfiles将行存储为已排序的KeyValues。

HBase写入

  将数据写入于写日志,WAL:

       1. 发布的内容将被添加到存储在磁盘上的WAL文件末尾。

       2. WAL用于在服务器崩溃的情况下恢复尚未保存的数据。

  一旦数据写入WAL,将会被写入MemStore中,然后放入Put请求确认信息返回给客户端。

MemStore

    MemStore 将更新的内容排序并以KeyValues的形式存储到内存中,与将其存储在HFile中相同。每个列族只有一个MenStorre,更新内容按照列族排序。

HBase HFile

     数据存储在HFile中,其中包含排序的Key/Value。当MemStore累积足够的数据时,整个已排序的KeyValue集将被写入HDFS中的新HFile。这是一个顺序写入。它速度非常快,因为它避免了移动磁盘驱动器磁头。

ZooKeeper: The Coordinator

     HBase使用Zookeeper做为分布式协调服务来维护及群众server的状态。Zookeeper维护处于活状态并可使用的Severs,并提供Server故障通知。Zookeeper使用共识来保证共同共享的状态。请注意,应该有三到五台机器达成共识。

 组建如何协调工作

    Zookeeper用于协调分布式系统成员的共享状态信息。Region Server和active HMaster通过会话链接到Zookeeper.ZooKeeper通过心跳维护会话活动的临时节点。

 

另外,在使用HBase时,切习惯性清除缓存,不要使mate表里存有大量的delete数据冗余,这样会导致hbase 启动时full scan meta卡着,最终导致整个集群无法正常启动运行服务。

 

www.htsjk.Com true http://www.htsjk.com/hbase/41997.html NewsArticle HBase总结, 架构组件        从物理结构上讲,HBase由三种类型的服务器构成主从式架构。Region Servers为数据的读取和写入提供服务。当访问数据时,客户端直接和Region Servers通信。Reg...
相关文章
    暂无相关文章
评论暂时关闭