Hbase中百万级request不是痴人说梦,hbase痴人说梦
昨天和一个互联网公司leader聊天,我说我们hbase集群(几十台小集群)的写请求达到过百万级别,那个leader死活不信。说他们PB级别的数据每秒都在入库也压不到百万级别请求。
啥都不说,先上图吧,有图有真相。
仔细看一下代码,不难发现writeRequestsCount 这个值不是进行一次RPC才增加一次,而是一条put就增加一次。也就是说一次RPC可能多条put。
把compact、split 和 flush都关掉,用MR进行入库程序,加大map的数量,关键还有增大writeBuffer的大小,就能很容易的把request数搞上去.........
元芳,你怎么看?
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。