工具介绍：
对象存储（CT-ZOS，Zettabyte Object Storage）数据迁移工具是一款用于将存储在其他对象存储服务中的数据，迁移至天翼云 ZOS 的命令行迁移工具。
主要功能：
- 源端适配：支持多种数据源端，包括：亚马逊 S3、阿里云 OSS、华为云 OBS、腾讯云 COS、天翼云 ZOS、天翼云 OOS 和 其他遵循标准 S3 协议的对象存储服务。
- 源端整桶迁移：支持整桶文件迁移。
- 源端过滤规则：支持指定源端文件夹、文件、前缀进行迁移；支持通过对象列表文件（.txt格式）指定源端迁移对象。
- 源端指定时间区间：支持迁移源桶内指定时间区间内的文件。
- 目的端指定前缀：支持指定迁移至目的端的对象统一新增前缀，若为目录前缀则会将数据迁移至该目录下。
- 目的端存储类型及访问控制：支持设置迁移至目的端的对象的存储类型和访问控制；支持设置对象迁移到ZOS为归档存储。
- 同名文件处理策略：支持处理同名文件的策略配置。
- 失败记录及重试：支持记录迁移失败对象以及重试失败对象的迁移；支持记录对象迁移失败原因。
- 并行传输：支持对象并行下载和上传。
- 断点续传：支持断点续传。
- 流量控制：支持对任务进行限流。
- 进度查询：支持实时查询迁移进度。
- 数据一致性校验：支持迁移过程中的一致性校验。
注意各源端厂商可能基于标准S3协议进行定制化改动，而非完全遵循标准S3协议，因此，非以上厂商的对象存储服务，请您以实际支持情况为准。
为避免您的损失，迁移前我们建议您尝试进行小部分数据迁移进行测试。
推荐配置
说明
迁移工具并发数如何配置：建议配置文件migration.conf中，进程数processNums设置不超过服务器CPU的核心数的1.5倍。每个进程内的并发线程数threadNums，建议不超过20。
网络稳定性的影响：部署工具的设备与源端的网络连通性会影响迁移的稳定性、部署工具的设备与目的端ZOS的网络连通性也会影响迁移的稳定性，建议迁移前检查网络连通性。
迁移前测试的重要性：工具的并发数配置与您提供的带宽都会影响迁移，造成对象迁移失败的情况（这种情况您可进行失败对象重试），建议您进行迁移前的测试。
我们建议按照如下配置进行部署。以下推荐方案在确定硬件配置与并发参数配置的情况下，已经帮您计算好所需的网络带宽。
服务器硬件配置 工具并发数配置（该部分参数在工具配置文件中进行配置） 网络带宽要求 8核心16GB内存 （系统盘40GB以上）
processNums参数为12；
threadNums参数为16；
60Mbps以上 4核心8GB内存
（系统盘40GB以上）
processNums参数为6；
threadNums参数为16；
30Mbps以上
注意
若您无法提供如上表的推荐配置，例如迁移主机配置为4核心8GB内存，工具与源端，或工具与目的端的带宽仅有10Mbps时，建议配置processNums参数不高于2，threadNums参数不高于16，避免导致频繁出现对象迁移失败的情况。
若您提供的配置，特别是迁移的网络带宽较高（例如带宽为1Gbps以上），您可以进行迁移前的测试，通过提供更多核心和内存的服务器设备，按并发数调优方式进行并发数配置，来实现更好的迁移效果。
使用手册：
迁移工具提供各版本下载：
Windows-amd64版本，适配以下系统：
- Windows10/11
- Windows Server 2016
点击下载该版本工具：ZOS_Migration_Tool_windows-amd64.zip
Linux-amd64版本，适配以下系统：
- CentOS 7.8
- CTyunOS 2.0.1-22.06.3
- CTyunOS 3-23.01
- Ubuntu 18.04/20.04/22.04
点击下载该版本工具：ZOS_Migration_Tool_linux-amd64.zip
Linux-arm64版本，适配以下系统：
- KylinOS V10 SP1
- CTyunOS 2.0.1
- CTyunOS 3-23.01
点击下载该版本工具：ZOS_Migration_Tool_linux-arm64.zip
常见问题
1.输入对象前缀时，实际并未迁移指定前缀的对象，是什么原因？
可能是前缀的输入有误。迁移服务支持源端指定对象前缀，该前缀为包含着对象所在目录路径的内容，而非仅对象名称的部分，格式为：文件夹/对象前缀。例如：桶内的根目录有目录A，目录A下有待迁移对象的名为old-filetest.jpg 和 old-image.png，则实际待迁移对象的名称应为：A/old-filetest.jpg 和 A/old-image.png。指定前缀时，不能仅输入“old-”，而应该输入“A/old-”。
2.源端请求超时，是什么原因？如何处理比较好？
源端请求超时常见以下原因：
- 用户迁移机器公网访问源端对象存储不稳定，导致获取元数据和下载对象请求超时;
- 用户迁移机器带宽很小，工具并发参数设置很高，低带宽无法满足高并发的数据迁移，故部分源端获取元数据，下载对象请求超时
建议您迁移前进行迁移测试，针对以上原因提高带宽，降低工具并发数。也可直接按照推荐配置部署资源。
3.工具常见异常提示
启动迁移工具后，针对一些不规范或异常情况工具会进行异常提示，以下常见异常提示可帮助您快速确定异常原因：
错误提示 异常原因 Error: the migration.conf configuration file is incorrect 配置文件参数填写不合规，请检查配置文件参数。 Error: check whether the network path has a proxy or whether the destination end is ZOS 1、zos端url填写错误；
2、目的端填写正确，但用户部署了代理转发，导致检测失败；
3、目的端填写正确，用户开启了代理网络工具，导致检测失败；Source bucket error: Forbidden 源桶ak，sk错误，请检查参数。 Source bucket error: Not Found 源端桶不存在，请确认源端桶及源端参数。 Destination bucket error: Forbidden 目的端zos的as,sk信息错误，请检查参数。 Destination bucket error: Not Found 目的端的zos桶不存在，请确认源端桶及源端参数。
更新记录
以下为您提供工具更新的记录，方便您参考：
日期 更新内容 2025年3月7日 一、新增特性：
1.流量控制：支持对任务进行流量限制。
二、修复与优化：
1.操作优化：Windows版本适配对程序进行双击直接运行。
2024年12月24日 一、新增特性：
1.源端过滤规则：指定支持通过对象列表文件（.txt格式）指定源端迁移对象。
2.目的端指定前缀：支持指定迁移至目的端的对象统一新增前缀，若为目录前缀则会将数据迁移至该目录下。
3.支持设置分块大小。
二、修复与优化：
1.迁移结果区分迁移完成和迁移中断。
2.迁移进度查询：迁移进度更新颗粒度从1000变为1；新增migration_size查询。
3.backend优化：不再支持多版本；合并冗余接口，优化api调用次数。
4.失败文件记录：失败文件格式优化。
5.工具架构与逻辑优化。
