欢迎投稿

今日深度:

HBase清空表数据,hbase清空数据

HBase清空表数据,hbase清空数据


一、清除之前检查

1.表的region分配情况;

2.表的大小(grafana可以看到);

 

二、清除之前备份

hbase(main):001:0> disable 'gx_rpt:msg_push_taskid_group_name'
0 row(s) in 2.1140 seconds

hbase(main):002:0> snapshot 'gx_rpt:msg_push_taskid_group_name','gx_rpt.msg_push_taskid_group_name_20171115'
0 row(s) in 1.2060 seconds

hbase(main):004:0> list_snapshots
SNAPSHOT TABLE + CREATION TIME
gx_rpt.msg_push_taskid_group_name gx_rpt:msg_push_taskid_group_name_20171115  (Wed Nov 15 16:24:47 +0800 2017)
 

三、清空表数据

有两个命令可选:

hbase(main):003:0> help 'truncate'
Disables, drops and recreates the specified table.
hbase(main):004:0> help 'truncate_preserve'
Disables, drops and recreates the specified table while still maintaing the previous region boundaries.

 

选择truncate_preserve

hbase(main):008:0> truncate_preserve 'gx_rpt:msg_push_taskid_group_name'

Truncating 'gx_rpt:msg_push_taskid_group_name' table (it may take a while):
- Disabling table...
- Truncating table...
0 row(s) in 7.5620 seconds

hbase(main):009:0> describe 'gx_rpt:msg_push_taskid_group_name'
Table gx_rpt:msg_push_taskid_group_name is ENABLED
gx_rpt:msg_push_taskid_group_name
COLUMN FAMILIES DESCRIPTION
{NAME => 'inf', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '3', COMPRESSION => 'NONE'
, MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'tr
ue'}
1 row(s) in 0.0440 seconds

 

hbase(main):014:0> count 'gx_rpt:msg_push_taskid_group_name'
0 row(s) in 0.6100 seconds

=> 0

 

################################################

HBase Snapshots允许你对一个表进行快照(即可用副本),它不会对Region Servers产生很大的影响,它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能

1.开启快照支持功能,在0.95+之后的版本都是默认开启的,在0.94.6+是默认关闭  

<property>
    <name>hbase.snapshot.enabled</name>
    <value>true</value>
</property>

 

2.给表建立快照,不管表是启用或者禁用状态,这个操作不会进行数据拷贝

$ ./bin/hbase shell 
hbase> snapshot 'myTable', 'myTableSnapshot-122112'

 

3.列出已经存在的快照

$ ./bin/hbase shell 
hbase> list_snapshots

 

4.删除快照

$ ./bin/hbase shell 
hbase> delete_snapshot 'myTableSnapshot-122112'

 

5.从快照复制生成一个新表

$ ./bin/hbase shell 
hbase> clone_snapshot 'myTableSnapshot-122112', 'myNewTestTable'

 

6.用快照恢复数据,它需要先禁用表,再进行恢复

$ ./bin/hbase shell
hbase> disable 'myTable' 
hbase> restore_snapshot 'myTableSnapshot-122112'


提示:因为备份(replication)是系统日志级别的,而快照是文件系统级别的,当使用快照恢复之后,副本会和master出于不同的状态,如果你需要使用恢复的话,你要停止备份,并且重置bootstrap。

如果是因为不正确的客户端行为导致数据丢失,全表恢复又需要表被禁用,可以采用快照生成一个新表,然后从新表中把需要的数据用map-reduce拷贝到主表当中。

 

7.复制到别的集群当中

该操作要用hbase的账户执行,并且在hdfs当中要有hbase的账户建立的临时目录(hbase.tmp.dir参数控制)

采用16个mappers来把一个名为MySnapshot的快照复制到一个名为srv2的集群当中

$ bin/hbase class org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot MySnapshot -copy-to hdfs://srv2:8020/hbase -mappers 16

 

2.Hbase的基于快照的表修复

      Hdfs的快照同样适用于hbase表的恢复。在hbase的数据表目录/hbase/data/default/(default为默认namespace空间)中新建快照,就会在该目录下生成.snapshot的文件夹,里面放着针对该目录的所有快照。

如果存在用户误删hbase表,

将快照中保存的数据表文件夹cp到/hbase/data/default下,然后执行如下命令,修复元数据即可。

 

注意:cp到/hbase/data/default目录下的数据表文件夹的权限要修改成hbase:hbase。

否则修改元数据的命令会失败。

 

      上面是对整个hbase的namespace空间进行的快照备份,如果在某一个表目录下建快照,那么这个表目录就会变成只读,在hbase shell中执行disable+drop <tablename>不会将表删除,在建快照之后新增的表数据也不会丢失。

虽然数据不会丢失但是元数据会被drop命令删除,还得用repair命令进行修复。

修复完之后,再enable这个表,就ok了。

www.htsjk.Com true http://www.htsjk.com/hbase/26108.html NewsArticle HBase清空表数据,hbase清空数据 一、清除之前检查 1.表的region分配情况; 2.表的大小(grafana可以看到);   二、清除之前备份 hbase(main):001:0 disable 'gx_rpt:msg_push_taskid_group_name' 0 row(s) in...
相关文章
    暂无相关文章
评论暂时关闭