本文提供了将用户的本地文件或本地数据,通过迁移软件迁移至公有云存储,重点介绍了迁移工具的使用。
- 测试网络连通性
在浏览器访问ZOS对象存储公网域名:
例如:访问北京5的zos域名:beijing-5.zos.ctyun.cn
浏览器有如下s3返回即为正常
- 把rclone包部署在客户服务器上,解压缩,复制到C盘根目录
打开windows的批处理功能:
运行菜单à输入“cmd”到rclone的目录
例如:
- Rclone初始化配置
在cmd中输入:
#rclone config
Name:自定义一个名称,便于后续访问和调用
storage:5
Provider:25(不选3,切记)
Env_auth:1
Ak:输入zos的ak
Sk:输入zos的sk
Region:2
Endpoint:xxxx.zos.ctyun.cn(需要附带https)
Location_constraint:空
Acl:空
选择:n
不做高级配置
确认配置是否正确,可参照下面样例,如果有不一致的,需要修改。
确认正确,输入“y”;
可以看到有个remote存储“yucheng”完成配置;
按“q”退出。
配置完成。
确认是否能扫描出当前的bucket:
#rclone lsd xxxxx: (xxxxx是配置最开始设置的name,name最后一定要加“:”)
- 和用户沟通一个测试数据数据目录,测试rclone的可用性
例如测试数据目录:c:\dir
rclone copy C:\dir name:test/dir --transfers=20 --buffer-size=200M --progress --create-empty-src-dirs
注:
name:给rclone配置的remote存储的名称;
test:是zos对象存储里的bucket名称
test/dir:表示数据复制到test这个bucket里的dir目录(dir一定要加,否则数据会复制到test这个bucket的根目录,数据结构就乱了)
transfers:并发传输文件数,建议选择24个
buffer-size:200M的传输缓存,如果用户服务器剩余内存大,可以调整到更大值
progress:开启实时查看复制进度
create-empty-src-dirs:自动创建空目录
执行复制命令,验证迁移速度:
示例:
如果测试没有问题,则可以开始迁移用户数据。
注:迁移数据时,一定要注意迁移到对象存储的目录名称,当前目录是什么名称,对象存储上的目录也叫什么名称,否则数据结果会和当前不一致
启动测试后,可以到云管平台的zos对象存储页面查看上传的数据,确认目录结构是正确的!!!