欢迎投稿

今日深度:

hbase 一次大规模数据写入清除测试,hbase写入清除

hbase 一次大规模数据写入清除测试,hbase写入清除


 测试过程

10:58 开始打入数据,磁盘使用率44%
11:38 由于内存8G不够,在打入数据的时候,导致falcon监控异常退出,对于本次测试效果不好,开始制作镜像,并运行新的instance
13:07 开始测试,43.394%
18:11 设置TTL,未做大合并
18 12 hbase disk storage usage 从 2539 到1571 共有968MB数据
18 15 machine disk storage usage 从 12483 到 10924 共有 1559MB数据

 全部监控曲线

总结

  • 跑CDH最好是16GB内存,cpu至少两核心吧。
  • hbase在存储数据的时候,先是写入到WAL,然后flush到磁盘里面,这个可以设置,我当前设置的64MB
  • hbase数据由WALs目录开始,64MBflush到磁盘,然后本身在某种机制下移动到oldWALs(保留时间很短,分分钟就被系统清理掉了)。
  • hbase的archive,目前没有多少研究,基本上数据也会分分钟消灭掉
  • hbase设置ttl,即使没有在手动major_compact的情况下,依旧会清理掉数据。下图是我设置ttl的过程。

  • 今天测试持续8个小时,花费大概10元

后记

哎呀,搞了三天了,总算有点果子吃了,哈哈。

www.htsjk.Com true http://www.htsjk.com/hbase/27559.html NewsArticle hbase 一次大规模数据写入清除测试,hbase写入清除 测试过程 10:58 开始打入数据,磁盘使用率44% 11:38 由于内存8G不够,在打入数据的时候,导致falcon监控异常退出,对于本次测...
相关文章
    暂无相关文章
评论暂时关闭