功能
通过CDM Job节点执行一个预先定义的CDM作业,实现数据迁移功能。
参数
用户可参考以下表中配置CDM Job节点的参数。配置血缘关系用以标识数据流向,在数据目录模块中可以查看。
属性参数
参数 | 是否必选 | 说明 |
---|---|---|
CDM集群名称 | 是 | 选择待执行的CDM作业所属的CDM集群。此处支持勾选两个CDM集群,用于提升作业可靠性。 勾选两个集群后,第一个勾选的集群为主集群,第二个勾选的集群为备集群。作业会默认运行在主集群上,当主集群状态异常后,会触发切换到备集群运行作业。 勾选两个集群的场景下,“作业类型”不推荐选择“创建新作业”,应设置为“选择已存在的作业”,且确保主备集群下分别存在该作业。您可以在主集群新建CDM作业并导出,然后再导入作业到备集群,实现作业同步,具体操作方法请参见批量管理作业。 |
CDM作业类型 | 是 | 选择已存在的作业。 创建新作业。 说明 如果作业类型为“选择已存在的作业”,当CDM作业有修改时,此处作业节点不会同步更新。如需更新此作业节点,需要重新保存该节点所在的作业,用于触发CDM作业更新。 如果作业类型为“创建新作业”,节点运行时会检测是否有同名CDM作业。 如果CDM作业未运行,则按照请求体内容更新同名作业。 如果同名CDM作业正在运行中,则等待作业运行完成后更新该作业。在此期间该作业可能被其他任务启动,可能会导致数据抽取不符合预期(如作业配置未更新、运行时间宏未替换正确等),因此请注意不要创建多个同名作业。 |
CDM作业名称 | 否 | 仅当“作业类型”为“选择已存在的作业”时需要配置该参数。选择待执行的CDM作业。 如果此CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。 |
CDM作业消息体 | 否 | 仅当“作业类型”为“创建新作业”时需要配置该参数。此处需要填写CDM作业JSON。方便起见可以在CDM已有作业处选择操作“更多 > 查看作业JSON”,复制其中的JSON内容,在此处修改适配。 如果此CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。 |
节点名称 | 是 | 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 |
高级参数
参数 | 是否必选 | 说明 |
---|---|---|
节点状态轮询时间(秒) | 是 | 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 |
节点执行的最长时间 | 是 | 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 |
失败重试 | 是 | 节点执行失败后,是否重新执行节点。 是: 重新执行节点,请配置以下参数。 − 最大重试次数 − 重试间隔时间(秒) 否: 默认值,不重新执行节点。 说明 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 如果调度CDM迁移作业时使用了参数传递,不能在CDM迁移作业中配置“作业失败重试”参数,推荐在此处配置即可。 |
失败策略 | 是 | 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 |
空跑 | 否 | 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 |
血缘关系
参数 | 说明 |
---|---|
输入 | |
新建 | 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择DLI的数据表。 |
确定 | 单击“确认”,保存节点输入功能的参数配置。 |
取消 | 单击“取消”,取消节点输入功能的参数配置。 |
编辑 | 单击,修改节点输入功能的参数配置,修改完成后,请保存。 |
删除 | 单击,删除节点输入功能的参数配置。 |
查看表详情 | 单击,查看节点输入血缘关系创建数据表的详细信息。 |
输出 | |
新建 | 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 DWS − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DWS的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DWS的数据库。 − schema(必选):单击,在弹出的“schema”窗口选择DWS的数据库模式。 − 表名(必选):单击,在弹出的“表名”窗口选择DWS的数据表。 OBS − 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS − 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 − 索引名称(必选):输入CSS类型的索引名称。 HIVE − 连接名称(必选):单击,在弹出的“连接名称”窗口选择HIVE的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择HIVE的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择HIVE的数据表。 CUSTOM − 名称(必选):输入CUSTOM类型的名称。 − 属性(必选):输入CUSTOM类型的属性,可新增不止一条。 DLI − 连接名称(必选):单击,在弹出的“连接名称”窗口选择DLI的数据连接。 − 数据库(必选):单击,在弹出的“数据库”窗口选择DLI的数据库。 − 表名(必选):单击,在弹出的“表名”窗口选择DLI的数据表。 |
确定 | 单击“确认”,保存节点输出功能的参数配置。 |
取消 | 单击“取消”,取消节点输出功能的参数配置。 |
编辑 | 单击,修改节点输出功能的参数配置,修改完成后,请保存。 |
删除 | 单击,删除节点输出功能的参数配置。 |
查看表详情 | 单击,查看节点输出血缘关系创建数据表的详细信息。 |