CDM作业管理界面的“配置管理”页签,主要操作如下:
- CDM作业最大抽取并发数
- CDM作业定时备份/恢复
- CDM作业参数的环境变量
CDM作业最大抽取并发数
最大抽取并发数取值范围为1-300,用于限制作业运行的总抽取并发数。如果当前所有作业总并发数超过限制,超过部分将排队等待。请您参考各单作业抽取并发数估算最大总抽取并发数。
单作业的抽取并发量配置原则如下:
CDM迁移作业的抽取并发数,与集群规格和表大小有关。并发抽取数取值范围为1-300,若配置过大,则以队列的形式进行排队。
建议每1CUs(1CUs=1核4G)配置为4,如下表所示,您也可以根据实际情况进行调整。另外,每行数据大小为1MB以下的可以多并发抽取,超过1MB的建议单线程抽取数据。
说明
迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。
单作业的抽取并发数,受到作业“配置管理”中所配置的“最大抽取并发数”影响。“最大抽取并发数”配置的是抽取并发总数。
表 抽取并发数参考配置
CDM集群规格 | vCPUs/内存 | 抽取并发数参考配置 |
---|---|---|
cdm.large | 8核16GB | 16 |
cdm.xlarge | 16核32GB | 32 |
cdm.4xlarge | 64核128GB | 128 |
CDM作业定时备份/恢复
该功能依赖于OBS服务。
- 前提条件
已创建配置OBS连接。
- 定时备份
在CDM作业管理界面,单击“配置管理”页签,配置定时备份的参数。
表 定时备份参数
参数 | 说明 | 配置样例 |
---|---|---|
定时备份 | 自动备份功能的开关,该功能只备份作业,不会备份连接。 | 开 |
备份策略 | 所有作业:不管作业处于什么状态,CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。 分组作业:选择备份某一个或多个分组下的作业。 |
所有作业 |
备份周期 | 选择备份周期: 日:每天零点执行一次。 周:每周一零点执行一次。 月:每月1号零点执行一次。 |
日 |
备份写入OBS连接 | CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。 | obslink |
OBS桶 | 存储备份文件的OBS桶。 | cdm |
备份数据目录 | 存储备份文件的目录。 | /cdm-bk/ |
- 恢复作业
如果之前执行过自动备份,“配置管理”页签下会显示备份列表:显示备份文件所在的OBS桶、路径、备份时间。
您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。
CDM作业参数的环境变量
CDM在创建迁移作业时,可以手动输入的参数(例如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为一个全局变量,方便您批量更改作业中的参数值,以及作业导出/导入后进行批量替换。
这里以批量替换作业中OBS桶名为例进行介绍。
1.在CDM作业管理界面,单击“配置管理”页签,配置环境变量。
bucket_1=A
bucket_2=B
这里以变量“bucket_1”表示桶A,变量“bucket_2”表示桶B。
2.在创建CDM迁移作业的界面,迁移桶A的数据到桶B。
源端桶名配置为 {bucket_1} ,目的端桶名配置为 {bucket_2} 。
图 桶名配置为环境变量
3.如果下次要迁移桶C数据到桶D,则无需更改作业参数,只需要在“配置管理”界面将环境变量改为如下即可:
bucket_1=C
bucket_2=D