hive数据迁移,
HDFS迁移
拷贝单个目录或文件
网络互通的两个Hadoop集群中,可执行如下命令,将nn1节点所在集群A上目录a.dir拷贝到nn2节点所在集群B目的b.dir上
hadoop distcp -i hdfs://nn1:8020/a.dir hdfs://nn2:8020/b.dir
详情参考:http://hadoop.apache.org/docs/r1.0.4/cn/distcp.html
Hive迁移
vi ~/.hiverc
use defaultDatabase;
defaultDatabase可修改为需要迁移的其它名称
- 创建数据临时目录
hdfs dfs -mkdir /tmp/hive-export
要从HDFS中删除文件夹,可以使用以下命令:
hadoop fs -rm -r -skipTrash /tmp/hive-export
- 生成数据导出脚本
执行如下命令生成数据导出脚本:
hive -e "show tables" | awk '{printf "export table %s to @/tmp/hive-export/%s@;\n",$1,$1}' | sed "s/@/'/g" > export.sql
- 手工导出数据到HDFS
执行脚本导出数据
hive -f export.sql
- 下载数据
下载HDFS数据到本地,并传送到目标集群(targetDir为目标集群地址)的/tmp/hive-export目录:
hdfs dfs -get /tmp/hive-export/
scp -r hive-export/ export.sql root@targetDir
hdfs dfs -put hive-export/ /tmp/hive-export
- 生成数据导入脚本
执行如下命令,复制导出脚本,并将脚本修改为导入脚本:
cp export.sql import.sql
sed -i 's/export table/import table/g' import.sql
sed -i 's/ to / from /g' import.sql
- 导入数据
hive -f import.sql
以上内容参考
https://docs.ucloud.cn/analysis/uhadoop/migration
更多内容请参考:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport#LanguageManualImportExport-Examples
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。