应用场景
适用于用户的迁移服务器(物理机、弹性云主机)可以访问待迁移数据,且和HPFS网络互通,同时保证可挂载并行文件系统的场景下的迁移操作。
准备工作
- 创建迁移服务器,如果目标HPFS文件系统是NFS协议,迁移服务器可选择弹性云主机。如果目标HPFS文件系统是HPFS_POSIX协议,迁移服务器需要选择物理机(GPU裸金属)。具体限制请参考操作系统限制。
- 将HPFS文件系统挂载至物理机或弹性云主机,具体操作请参考挂载文件系统。
操作步骤
迁移命令说明
HPFS数据拷贝是文件系统间数据的迁移,推荐使用数据同步工具rsync(remote synchronize)。
centos环境下rsync安装命令:
yum install -y rsync
rsync支持本地(类似cp,我们一般选择本地方式)或者远端(类似scp)数据拷贝,可以镜像保存整个目录树和文件系统,支持断点续传,快速安全。
rsync使用说明:
#本地拷贝
rsync [OPTION...] SRC... [DEST]
#常用选项:
--partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
--inplace 将更新的数据直接写入目标文件,避免文件复制
--delete 删除那些DST中SRC没有的文件
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-v, --verbose 详细模式输出
-c, --checksum 打开校验开关,强制对文件传输进行校验
数据拷贝时间可能很长(用户数据量除以数据拷贝带宽),为防止下线执行命令退出,可以采用后台执行的方式执行rsync命令:
nohup rsync -a --partial --inplace -v $src_dir $dest_dir &