欢迎投稿

今日深度:

HBase Shell工具操作HBase,

HBase Shell工具操作HBase,


HBase Shell工具操作HBase

原创 2015年11月24日 18:30:30
  • 3285

HBase的shell工具是常用的工具,运维过程的DDL和DML都会通过此进行,其具体实现是用Ruby语言编写的,并且使用了JRuby解释器。该工具模式有两种常用的模式:交互模式和命令批处理模式。交互模式用于随机访问,而命令批处理模式通过使用shell编程来批量、流程化处理访问命令,常用于HBase集群运维和监控中的定时执行命令。

1,命令分类

选择一台HBase集群的节点(最好是客户端节点),进入HBase安装目录后执行bin/hbase shell,进入HBase shell交互模式,通过执行help命令,将输出一系列帮助信息如下:

COMMAND GROUPS:

Group name:general

Commands: status,version

......

从输出来看,shell的所有命令分为6组:常规(general)、DLL、DML、工具(tools)、复制(Replication)和安全(Security)。

2,常规命令:status:返回几圈状态信息;version:返回集群的HBase版本信息,其中第一个是版本号,第二部分是版本修订号,第三部分是编译HBase的时间。

3,DDL命令:即数据定义语言命令,包含的命令非常丰富,用于管理表相关的操作,包括常见表、修改表、上线和下线表、删除表、罗列表等操作,详细如下表所示:

 
命令命令含义命令使用实例
alter修改表的列族的描述属性alter 't1',NAME =>'f1',VERSIONS=>5
alter_async异步修改聊的列族的描述属性,并不需要等待所有Region都完成操作。用法与alter命令相同alter_async 't1',NAME=>'f1',VERSIONS=>5
alter_status获取alter命令的状态,会标注已经有多少Region更改了schema。命令的参数是表名alter_status 't1'
create创建表create 't1',{NAME=>'f1',VERSIONS=>5}
create 't1','f1','f2','f3'
describe创建表的元数据信息和是否可用的状态describe 't1'
disable下线某个表disable 't1'
disable_all下线所有匹配正则表达式的表disable_all 't.*'
drop删除某个表drop 't1'
drop_all删除所有匹配正则表达式的表drop_all 't.*'
enable上线某个表enable 't1'
enable_all上线所有匹配正则表达式的表enable_all  't.*'
exists判断某个表是否存在exists 't1'
is_disenabled判断某个表是否下线is_disabled 't1'
is_enabled判断某个表是否在线is_enabled 't1'
show_filters查看所支持的所有过滤器的名称show_filters
list罗列所有表list
 



4
,DML命令:即数据操作语言命令,包含的命令非常丰富,用于数据的写入、删除、修改你、查询、清空等操作,这些命令的详细解决和使用示例如表所示:

 
count统计表的总行数count ‘t1'
count 't1',INTERVAL => 100000
count 't1',CACHE => 100
count 't1',INTERVAL => 10,CACHE=>10
delete删除一个单元格delete ’t1','r1','c1',ts1
delteall删除一行或者一列deleteall 't1','r1'
deleteall 't1','r1','c1'
deleteall 't1','r1','c1',ts1
get单行读get 't1','r1'
get 't1','r1'{TIMERANGE => [ts1,ts2]}
get 't1','r1',{COLUMN =>"c1'}
get 't1','r1',{COLUMN =>[c1,c2,c3]}
get 't1','r1',{COLUMN =>'c1',TIMESTAMP =>ts1}
get 't1','r1',{COLUMN =>'c1',TIMERANGE=>
[ts1,ts2],VERSION=4}
get 't1','r1',{COLUMN =>'c1',TIMESTAMP => ts1,
VERSION =>4}
get 't1','r1',{FILTER => "ValueFilter(=,'binary:abc')"}
get 't1','r1','c2'
get 't1','r1','c1','c2'
get 't1','r1',['c1','c2']
get_counter读取计数器get_counter 't1','r1','c1'
incr自增写入incr 't1','r1','c1'
incr 't1','r1','c1',1
put数据 写入put 't1','r1','c1','value',ts1
scan扫描读scan '.META.'
scan '.META',{COLUMNS => 'info:regioninfo'}
scan 't1',{COLUMNS => [c1,c2],LIMIT =>10,
STARTROW => 'xyz'}
scan 't1',{COLUMNS => ' c1',TIMERANGE =>[1303668804,1303668904]}
scan 't1',{FILTER => "(PrefixaFilter('row2') AND (QualifierFilter(>=,'binary:xyz')))AND
(TimestampsFilter(123,456))"}
truncate清空表truncate 't1'
 
   



5,tool命令提供了一些工具命令,组名称为Tools,这些命令多用于HBase集群的管理与调优。这些命令涵盖合并、分裂、负载均衡、日志回滚、Region分配和移动以及zookeeper信息查看等方面。每种命令的手捧玫瑰方法有多种,适用于不同的场景。例如合并命令compact,可以合并一张表、一个Region的某个列族,或一张表的某个列族。


 
命令命令含义命令使用实例
assign分配Regionassign ‘Region1’
balance_switch启用或关闭负载均衡器,返回结果是当前均衡器状态balance_switch true
balance_swich false
balancer触发集群负载均衡器。如果成果运行则返回TRUE,很可能将所有Region重新分配。
如果FALSE,说明某些Region在rit状态,不会执行该命令
balancer
close_region关闭某个Regionclose_region 'REGIONNAME'
close_region 'REGUIBBANE','SERVER_NAME'
compact 合并表或者Regioncompact 't1'
compact 'r1','c1'
compact 't1,'c1'
flushflush表或Regionflush 'TABLENAME'
flush 'REGIONNAME'
hlog_rollHLog日志回滚,参数是regionserver的名字hlog_roll 'regionName'
major_compact大合并表或Regionmajor_compact 't1'
major_compact 'r1','c1'
major_compact 't1','c1'
move移动Region。如果没有目标regionserver,则随机选择一个节点move 'ENCODED_REGIONNAME'
move 'ENCODED_REGIONNAME','SERVER_NAME'
split分裂表或Regionsplit ‘tablename'
split 'tablename' # format: 'tablename,startKey,id'
split 'tablename','splitKey'
split 'regionname','splitKey'
unassign解除某个指定的Regionunassign 'REGIONNAME'
usassign 'REGIONNAME',true
zk_dump打印输出zookeeper的信息,包括HBase主节点,regionserver状态,以及zookeeper节点统计状态zk_dump
 
   

6,复制命令用于HBase高级特性——复制的管理,可以添加、删除、启动和停止复制功能相关操作,但是因为HBase复制特性在0.94.*版本并不成熟,所以这里不展开讲解命令细节。

 
add_peer添加对等集群,需要指定对等集群的ID、主机名、端口号和zookeeper的根路径add_peer '1',"server1.cie.com:2181:/hbase"
add_peer '2',"zk1,zk2,zk3:2181:/hbase-prod"
disable_peer停止到特定集群的复制流,但仍然保持对新改动的跟踪。参数是对等集群的IDdisable_peer '1'
enable_peer启用到对等集群的复制,从上次关闭的位置继续复制,参数是对等参数的ID enable_peer '1'
list_peers罗列所有正在复制的对等集群list_peers
remove_peer停止某个复制流,并且山吹其对应的元数据信息。参数是对等集群的ID remove_peer '1'
start_replication重启所有复制流,只用在负载达到临界的情况下start_replication
stop_replication关闭所有复制流,只用在负载达到临界的情况下
 
   


7,安全命令属于DCL(Data Control Language,数据控制语言)的范畴,HBase shell提供了三种安全命令:grant、revoke和user_permission。这三种命令并不是直接执行如表5-5所示的使用实例就可以使用,还需要两个前提条件:使用附带security的HBase版本和配置完成Kerberos安全认证。


 
grant赋予用户特定的权限,权限集合是RWXCA:read,write,exec,create,admingrant 'bobsmith','RWXCA'
grant 'bobsmith','RW','t1','f1','col1'
revoke撤销用户的特点权限revoke ’bobsmith'
revoke 'bobsmith','t1','f1','col1'
user_permission显示某用户的所有权限,如果加上参数——表名,则表示该用户在该表上的所有权限user_permission
user_permission 'table1'
 

www.htsjk.Com true http://www.htsjk.com/hbase/38485.html NewsArticle HBase Shell工具操作HBase, HBase Shell工具操作HBase 原创  2015年11月24日 18:30:30 标签: shell  / hbase  / ruby  / 安全 3285 HBase的shell工具是常用的工具,运维过程的DDL和DML都会通过此进行,其具...
相关文章
    暂无相关文章
评论暂时关闭