工具介绍:
文件迁移工具提供将本地文件、文件夹传输到云上天翼云对象存储(ZOS),以及将云上天翼云对象存储(ZOS)中的对象文件,下载到本地指定文件夹的能力。
主要功能:
- 本地文件迁移至云端对象:
- 本地文件过滤:支持指定文件或指定文件夹进行文件上云。
- 目的端ZOS指定目录前缀:可以指定文件上云后在ZOS的指定前缀进行存储。
- 目的端ZOS支持指定存储类型:支持对上传对象的存储类型进行配置。
- 目的端ZOS支持指定访问权限;支持对上传对象的访问权限进行配置。
- 目的端支持对象存储目录补充功能。
- 云端对象下载至本地文件:
- 云端ZOS过滤:支持指定ZOS中的文件或指定文件夹进行文件下载;
- 目的端本地文件目录指定:文件下载后可以指定下载的文件在本地存储的具体目录;
- 支持断点续传:迁移过程中,如果出现中断,重新启动工具后,可以继续执行迁移工作。已经迁移完成的部分数据,将会进行比对,如果一致则不进行迁移动作。
- 流量限制:支持单任务限速功能。
推荐配置
配置文件中的checkers与transfers参数用于控制迁移并发数,在实际使用中,为方便您快速进行迁移,可按配置文件中的checkers与transfers默认参数进行迁移。
若想根据您的服务器配置对工具并发数进行调优,以下为您列举最低配置和常见配置情况下的并发数配置方案:
类型 服务器硬件配置 并发数配置(在配置文件中设置) 网络带宽 最低配置 2核心4GB内存
系统盘40GB以上
checkers配置为4,transfers配置为4 工具可公网部署,也可内网部署,无论公网还是内网,网络带宽将与工具的迁移速度正相关 常见配置 4核心8GB内存
系统盘40GB以上
checkers配置为8,transfers配置为8 常见配置 8核心16GB内存 系统盘40GB以上
checkers配置为16,transfers配置为16
说明若上表中没有您的服务器配置,建议您按照实际的系统资源(如CPU核数情况)进行调整,以下为调优规则:
transfers参数配置:建议设置为 CPU 核数的 1-2 倍。例如,对于 4 核 CPU,可以设置为 4 或 8。
checkers参数配置:通常设置为与 transfers 相同或略高的值,例如 CPU 核数的 2 倍。
注意
工具执行多任务的影响:迁移工具支持多任务并发,上述配置仅针对单任务执行时的情况,若需要同时执行多个任务,建议根据任务需要进行分配。
提供较低的网络带宽的影响:如果网络带宽较低,迁移速度也将受到影响,且增加并发数可能不会显著提升性能。
磁盘I/O与并发数:如果磁盘 I/O 是瓶颈,建议适当降低并发数。
测试的重要性:建议迁移前根据实际使用场景进行测试,调整参数以达到最佳性能。
对业务的影响:若迁移机器有其他业务在运行,建议降低并发(如CPU核数的一半),以免影响其他业务的运行。
用户手册:
文件迁移工具提供各版本下载:
Linux版本
适配X86处理器:
1、CentOS/CtyunOS2/CtyunOS3:
Ctyun-data-migration-v1.1.1-amd64.zip
2、Ubuntu:
Ctyun-data-migration-v1.1.1-amd64-ubuntu.zip
适配ARM处理器:
1、CentOS/CtyunOS2/CtyunOS3:
Ctyun-data-migration-v1.1.1-arm64.zip
2、Ubuntu:
Ctyun-data-migration-v1.1.1-arm64-ubuntu.zip
Windows版本
Ctyun-data-migration-v1.1.1-win.zip
更新记录
以下为您提供工具更新的记录,方便您参考:
日期 更新内容 2025年03月19日 一、修复与优化
1. 安装脚本优化。
2. Windows版本修复不支持字符编码转义问题。
2024年12月25日 一、新增特性
1.支持指定文件进行上传或下载:本地文件支持指定文件上传至云端对象存储;支持云端指定对象下载至本地文件系统。
2.支持指定云端对象存储的存储类型和访问权限:支持指定本地文件上传至云端对象存储服务后的访问权限和存储类型。
3.同名文件处理策略支持全覆盖模式:上传或下载场景下的同名文件处理策略支持一律用源端数据覆盖目的端同名数据。
4.支持目录补充:本地文件迁移至云端对象,支持对象存储侧目录补充。