工具介绍:
对象存储(CT-ZOS,Zettabyte Object Storage)数据迁移工具是一款用于将存储在其他对象存储服务中的数据,迁移至天翼云 ZOS 的命令行迁移工具。
主要功能:
- 源端适配:支持多种数据源端,包括:亚马逊 S3、阿里云 OSS、华为云 OBS、腾讯云 COS、天翼云 ZOS、天翼云 OOS 和 其他遵循标准 S3 协议的对象存储服务。
- 源端整桶迁移:支持整桶文件迁移。
- 源端过滤规则:支持指定源端文件夹、文件、前缀进行迁移;支持通过对象列表文件(.txt格式)指定源端迁移对象。
- 源端指定时间区间:支持迁移源桶内指定时间区间内的文件。
- 目的端指定前缀:支持指定迁移至目的端的对象统一新增前缀,若为目录前缀则会将数据迁移至该目录下。
- 目的端存储类型及访问控制:支持设置迁移至目的端的对象的存储类型和访问控制;支持设置对象迁移到ZOS为归档存储。
- 同名文件处理策略:支持处理同名文件的策略配置。
- 失败记录及重试:支持记录迁移失败对象以及重试失败对象的迁移;支持记录对象迁移失败原因。
- 并行传输:支持对象并行下载和上传。
- 断点续传:支持断点续传。
- 进度查询:支持实时查询迁移进度。
- 数据一致性校验:支持迁移过程中的一致性校验。
注意各源端厂商可能基于标准S3协议进行定制化改动,而非完全遵循标准S3协议,因此,非以上厂商的对象存储服务,请您以实际支持情况为准。
为避免您的损失,迁移前我们建议您尝试进行小部分数据迁移进行测试。
使用手册:
迁移工具提供各版本下载:
Windows-amd64版本,适配以下系统:
- Windows10/11
- Windows Server 2016
点击下载该版本工具:ZOS_Migration_Tool_windows-amd64.zip
Linux-amd64版本,适配以下系统:
- CentOS 7.8
- CTyunOS 2.0.1-22.06.3
- CTyunOS 3-23.01
- Ubuntu 18.04/20.04/22.04
点击下载该版本工具:ZOS_Migration_Tool_linux-amd64.zip
Linux-arm64版本,适配以下系统:
- KylinOS V10 SP1
- CTyunOS 2.0.1
- CTyunOS 3-23.01
点击下载该版本工具:ZOS_Migration_Tool_linux-arm64.zip
更新记录
以下为您提供工具更新的记录,方便您参考:
日期 更新内容 2024年12月24日 一、新增特性:
1.源端过滤规则:指定支持通过对象列表文件(.txt格式)指定源端迁移对象。
2.目的端指定前缀:支持指定迁移至目的端的对象统一新增前缀,若为目录前缀则会将数据迁移至该目录下。
3.支持设置分块大小。
二、修复与优化:
1.迁移结果区分迁移完成和迁移中断。
2.迁移进度查询:迁移进度更新颗粒度从1000变为1;新增migration_size查询。
3.backend优化:不再支持多版本;合并冗余接口,优化api调用次数。
4.失败文件记录:失败文件格式优化。
5.工具架构与逻辑优化。