欢迎投稿

今日深度:

hive数据迁移,

hive数据迁移,


HDFS迁移

拷贝单个目录或文件

网络互通的两个Hadoop集群中,可执行如下命令,将nn1节点所在集群A上目录a.dir拷贝到nn2节点所在集群B目的b.dir上

hadoop distcp -i hdfs://nn1:8020/a.dir hdfs://nn2:8020/b.dir

详情参考:http://hadoop.apache.org/docs/r1.0.4/cn/distcp.html

Hive迁移

vi ~/.hiverc
use defaultDatabase;

defaultDatabase可修改为需要迁移的其它名称

  1. 创建数据临时目录
hdfs dfs -mkdir /tmp/hive-export

要从HDFS中删除文件夹,可以使用以下命令:

hadoop fs -rm -r -skipTrash /tmp/hive-export
  1. 生成数据导出脚本
    执行如下命令生成数据导出脚本:
hive -e "show tables" | awk '{printf "export table %s to @/tmp/hive-export/%s@;\n",$1,$1}' | sed "s/@/'/g" > export.sql

  1. 手工导出数据到HDFS

执行脚本导出数据

hive -f export.sql
  1. 下载数据

下载HDFS数据到本地,并传送到目标集群(targetDir为目标集群地址)的/tmp/hive-export目录:

hdfs dfs -get /tmp/hive-export/
scp -r hive-export/ export.sql root@targetDir
hdfs dfs -put hive-export/ /tmp/hive-export
  1. 生成数据导入脚本

执行如下命令,复制导出脚本,并将脚本修改为导入脚本:

cp export.sql import.sql
sed -i 's/export table/import table/g' import.sql
sed -i 's/ to / from /g' import.sql
  1. 导入数据
hive -f import.sql 

以上内容参考

https://docs.ucloud.cn/analysis/uhadoop/migration

更多内容请参考:

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport#LanguageManualImportExport-Examples


www.htsjk.Com true http://www.htsjk.com/hive/41172.html NewsArticle hive数据迁移, HDFS迁移 拷贝单个目录或文件 网络互通的两个Hadoop集群中,可执行如下命令,将nn1节点所在集群A上目录a.dir拷贝到nn2节点所在集群B目的b.dir上 hadoop distcp -i hdfs://nn1:8020/...
相关文章
    暂无相关文章
评论暂时关闭