Hbase集群间数据迁移方法总结（包括不通信集群），hbase集群
|
<iframe id="iframeu1728839_0" src="http://pos.baidu.com/lcnm?rdid=1728839&dc=2&di=u1728839&dri=0&dis=0&dai=3&ps=515x1133&dcb=BAIDU_SSP_define&dtm=BAIDU_DUP_SETJSONADSLOT&dvi=0.0&dci=-1&dpt=none&tsr=0&tpr=1459476699198&ti=Hbase%E9%9B%86%E7%BE%A4%E9%97%B4%E6%95%B0%E6%8D%AE%E8%BF%81%E7%A7%BB%E6%96%B9%E6%B3%95%E6%80%BB%E7%BB%93%EF%BC%88%E5%8C%85%E6%8B%AC%E4%B8%8D%E9%80%9A%E4%BF%A1%E9%9B%86%E7%BE%A4%EF%BC%89-Hbase-about%E4%BA%91%E5%BC%80%E5%8F%91&ari=1&dbv=2&drs=1&pcs=1349x579&pss=1349x697&cfv=18&cpl=24&chi=1&cce=true&cec=GBK&tlm=1459447899&ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-7628-1-1.html&ltr=http%3A%2F%2Fwww.aboutyun.com%2Fthread-7628-1-1.html&ecd=1&psr=1366x768&par=1366x728&pis=-1x-1&ccd=32&cja=true&cmi=83&col=zh-CN&cdo=-1&tcn=1459476700&qn=de9a3b9a241eed44&tt=1459476699104.468.733.733" width="120" height="240" align="center,center" vspace="0" hspace="0" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" ></iframe>
问题导读： 1.不同版本间集群是否可以迁移？ 2.distcp命令的作用是什么？ 3..MEAT表的作用是什么？ 4.相互不通信集群，数据该如何迁移？ HBase迁移数据方案一（集群互联） 花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。 一、需要在hbase集群停掉的情况下迁移 步骤： (1)执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在new cluster执行./hbase org.jruby.Main add_table.rb /hbase/table20111222，将拷贝来的表加入到.MEAT.中（会出现region的数目不一致的问题，这个需要重启hase才能解决） 说明：(1)filelist为hdfs上的列表文件，内容如下： /hbase/table20111222 /hbase/table20120131 (2)如果两个集群的hadoop版本不一致，需要在new cluster上执行hadoop distcp，否则会出现读写异常； 二、在集群运行的时候进行数据迁移 1、Replication： 这个是动态的备份（可以理解为实时备份） 步骤： (1)在old cluster将需要迁移的表属性进行修改： disable 'your_table' alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'} enable 'your_table' (2)打开new cluster集群的replication，修改hbase-site.xml <property> <name>hbase.replication</name> <value>true</value> </property> (3)添加peer，在new cluster的hbase shell中执行：add_peer '1','old cluster ip:2181:/hbase'，启动replication，执行start_replication 说明：需要两个集群的hadoop版本一致，否则出现读写错误 2、CopyTable： 可以在本集群中拷贝一张表，也可以将表拷贝到其他的集群中。 命令：./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test 说明：(1)拷贝完成，不需要重启机器，在new cluster中就可以看到该表; (2)稳定性还需要考虑，测试过程中遇到一个问题，拷贝过程中始终都停留在这里Lookedup root region location, 查看日志没有什么错误和相关的信息。 3、Export and Import 步骤： (1)在old cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test (2)在new cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test 说明： (1)一定要写全路径，不能写相对路劲; (2)在import前，需要将表事先在new cluster中创建好. 以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法。 HBase迁移数据方案二（两个集群不能通信） 两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。 但是如果两个集群在不同的网络，没法通信呢？ 今天测试了一个方案： 把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下 1、拷贝集群1的表文件到本地磁盘 : /app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1 2、对于文件操作，很简单吧，随便你怎么去拷贝来拷贝去 3、如果集群2中也有对应的表文件，那么删除掉，然后拷贝 /app/cloud/hadoop/bin/hadoop fs -rmr /hbase/table1 /app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1 4、重置该表在.META.表中的分区信息 bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1 另外： 1、如果表的数据量过大呢？ 那么按照该表在HDFS中的文件夹数据，分批拷贝。 2、如果两个集群可以互相通信呢？采用第一种方案即可 该文档来自http://www.aboutyun.com/thread-7628-1-1.html 在实际操作中发现 bin下没有add_table.rb该文件。参考后面文章 |
本站文章为和通数据库网友分享或者投稿，欢迎任何形式的转载，但请务必注明出处.
同时文章内容如有侵犯了您的权益，请联系QQ：970679559，我们会在尽快处理。