欢迎投稿

今日深度:

hbase优化,

hbase优化,


HBase的性能优化

1.数据写入到WAL和memstore中。

  memstore中的数据flush到HDFS中。

  数据存放在内存中,一般存放在jvm中的新生代、老生代区域。

  memstore一般设置大小为128MB。

  设置合理的memstore的值,可以提高数据装载到HBase中的速度。

 

2.对列簇启用压缩

  比如GZIP、LZO、Zippy、Snappy
 

3.对region进行预拆分

    region热点

    bin/hbase org.apache.hadoop.hbase.util.RegionSplitter -c 10 aaa -f cf HexStringSplitter

   

4.当数据进行匀速的批量装载的时候,当多个region达到指定的阈值时,就会同时进行分裂,形成分裂风暴。

   可进行手工提前分裂。

www.htsjk.Com true http://www.htsjk.com/hbase/42197.html NewsArticle hbase优化, HBase的性能优化 1.数据写入到WAL和memstore中。   memstore中的数据flush到HDFS中。   数据存放在内存中,一般存放在jvm中的新生代、老生代区域。   memstore一般设置大小为128MB。...
相关文章
    暂无相关文章
评论暂时关闭