怎么查看迁移进度?
可以在statistics.txt中查看迁移进度。例如
<html>
<body>
<div>已加载备份object数:0<div>
<div>已扫描object数/已扫描object量:31/32.26(MB)<div>
<div>已完成object数/已完成object量:31/32.26(MB)<div>
<div>成功object数/成功object量:29/32.16(MB)<div>
<div>失败object数/失败object量:2/100.01(KB)<div>
<div>跳过object数/跳过object量:0/0.00(B)<div>
<div>其他object数/其他object量:0/0.00(B)<div>
<div>总体速度:扫描速度/已完成速度/成功速度:275(KB/s)/275(KB/s)/274(KB/s)<div>
<div>分钟速度:扫描速度/已完成速度/成功速度:75(KB/s)/75(KB/s)/74(KB/s)<div>
<div>成功数占完成比/成功量占完成比/单位成功量:80%/80%/5M<div>
<div>失败数占完成比/失败量占完成比/单位失败量:20%/20%/1M<div>
<div>待迁移队列长度/正在迁移队列长度:0/0<div>
<div>启动时间/完成时间:2020-07-20 09:15:13/2020-07-20 09:16:55<div>
<div>扫描状态:已停止<div>
<div>加速模式:已生效<div>
<div>并发数(每个客户端):100<div>
<div>客户端数量:0<div>
<div>客户端编号:<div>
</body>
</html>
此工具支持OOS同一个Bucket内文件(Object)的迁移吗?
如果在migrate.conf中增加参数destPrefix,可以使用此迁移工具实现OOS同一个Bucket内文件(Object)的迁移。
对源数据的存储类型是否有要求?
不支持S3归档存储类型的数据,其他基本都支持。
如果文件存储在中国大陆外的S3 region,是否可以迁移?
可以迁移,但可能读取数据较慢,导致迁移较慢甚至有超时风险。
如果数据有加密,会影响迁移吗?
不支持迁移使用了服务端加密且加密方式为 SSE-C的文件(Object)。
对于分段文件(Object)有什么要求?
OSS、COS、OBS、S3,对于分段文件(Object),仅可以遍历到已合并的分段文件,即仅迁移已合并的分段文件,未合并、已abort的不迁移。
是否支持文件(Object)的多版本迁移?
OSS、COS、OBS、S3、OOS文件(Object),仅迁移当前可读取到的文件,不支持按object version Id迁移。
迁移源类型为LOCAL的,OOS上文件(Object)名称是否和本地的名称一样?
不一定。迁移工具迁移数据时会遍历给定目录下的所有文件、子目录及子目录下文件,文件(Object)名为文件路径去掉目录参数部分:
- 如果文件直接属于指定的目录,OOS上文件名称和本地的名称一致。如指定目录参数为F:/test/,文件test1.txt在本地的文件目录为F:/test/test1.txt,则OOS上的文件名称为test1.txt。
- 如果文件不直属于指定的目录,则OOS上文件名称需要增加未指定的目录名部分。如指定目录参数为F:/test/,文件test2.txt在本地的文件目录为F:/test/sub/test2.txt,则OOS上的文件名称为sub/test2.txt。
是否支持配置迁移文件(Object)的大小?
支持,可以通过配置文件migrate.conf中参数objectSize进行配置迁移文件(Object)的范围。格式是N-M,表示迁移N至M大小的文件。取值:N和M是大于等于0的整数,且N≤M,单位是字节。默认不配置此项,表示迁移所有大小的文件。
迁移过程中任务被终止了如何继续?
可以按照下列步骤继续终止的任务:
- 保留上次迁移执行过程中产生的backup文件。
说明如果不在原服务器上继续执行迁移任务,而是换一台服务器上重新开始迁移任务,则需要将backup文件拷贝到新服务器的迁移工具所在目录下。
- 查看nextMarker.txt文件中记录的上次数据迁移位置。修改迁移任务配置文件(migrate.conf),设置srcMarker为上次迁移位置,然后运行迁移工具。
如何提升迁移速度?
在客户端网络环境不变的情况下,可以通过调整如下参数来提升迁移速度:
- 将系统配置文件(system.conf)中的threadNum参数调大,执行多线程并发迁移,譬如调整到50。
- 将迁移任务配置文件(migrate.conf)中的isSkipExistFile参数设置为true,当目标资源池中已有同名文件则跳过不再迁移。
说明这个参数根据实际情况而定。
- 如果srcType为OOS时,且迁移源端和目的端的资源池为同类型,可以将迁移任务配置文件(migrate.conf)中的isAcceleratedMigration参数设置为true,使用加速迁移。
- 将迁移任务配置文件(migrate.conf)中的importSince参数设置为增量迁移的时间戳,可以只迁移该时间戳之后的对象。
如何开始一个全新的迁移任务?
按下列步骤开始一个全新的迁移任务:
- 确认迁移工具目录下没有backup目录或者backup目录下没有文件。
- 确认系统配置文件(conf)和任务配置文件(migrate.conf)中的参数正确。
- 在客户端执行迁移任务:
- 如果客户端为Windows,执行bat。
- 如果客户端为Linux,执行sh。