欢迎投稿

今日深度:

Hbase中百万级request不是痴人说梦,hbase痴人说梦

Hbase中百万级request不是痴人说梦,hbase痴人说梦


    昨天和一个互联网公司leader聊天,我说我们hbase集群(几十台小集群)的写请求达到过百万级别,那个leader死活不信。说他们PB级别的数据每秒都在入库也压不到百万级别请求。

    啥都不说,先上图吧,有图有真相。

    

     仔细看一下代码,不难发现writeRequestsCount 这个值不是进行一次RPC才增加一次,而是一条put就增加一次。也就是说一次RPC可能多条put。

     把compact、split 和 flush都关掉,用MR进行入库程序,加大map的数量,关键还有增大writeBuffer的大小,就能很容易的把request数搞上去.........

    元芳,你怎么看?

     

www.htsjk.Com true http://www.htsjk.com/hbase/32113.html NewsArticle Hbase中百万级request不是痴人说梦,hbase痴人说梦     昨天和一个互联网公司leader聊天,我说我们hbase集群(几十台小集群)的写请求达到过百万级别,那个leader死活不信。说他们PB级别的...
相关文章
    暂无相关文章
评论暂时关闭