欢迎投稿

今日深度:

HBase bulkload,

HBase bulkload,


通过直接生成HFile文件,可以将要保存数据bulkload到HBase中,速度比使用HBase API要快很多。

在生成了HFile之后,一般通过HFileOutputFomat这个工具来将其导入到HBase表在HDFS中的目录。

遇到的问题

导入HFile时权限不够

在使用HFileOutputFomat来导入HFile时,很可能会发现导入的过程卡住不动了,如下:

实际上,卡住的原因是因为在loading hfiles时权限不够,可以查看某个region server的日志,会发现如下的内容:

可以看到,用户hdfs生成的HFile所在的HDFS目录的权限状况为 hdfs:supergroup:drwxr-xr-x,而试图loading hfiles的用户名是hbase,自然没有权限去将hfiles移动到其他地方了。

所以,有3种解决途径:

www.htsjk.Com true http://www.htsjk.com/hbase/40542.html NewsArticle HBase bulkload, 通过直接生成HFile文件,可以将要保存数据bulkload到HBase中,速度比使用HBase API要快很多。 在生成了HFile之后,一般通过 HFileOutputFomat 这个工具来将其导入到HBase表在HDFS中的...
相关文章
    暂无相关文章
评论暂时关闭