对已新建的作业进行开发和配置。
前提条件
- 已新建作业。
- 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见提交版本并解锁章节中的“编辑锁定”功能。
编排作业节点
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
详见下图:选择数据开发
- 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
- 在作业目录中,双击Pipeline模式批处理作业或实时处理作业的名称,进入作业开发页面。
- 拖动所需的节点至画布,鼠标移动到节点图标上,选中连线图标并拖动,连接到下一个节点上。
说明每个作业建议最多包含200个节点。
详见下图:编排作业
- 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如行表所示的功能。
右键节点功能
功能 | 说明 |
---|---|
配置 | 进入该节点的“节点属性”页面。 |
删除 | 支持删除一个节点或同时删除多个节点。 单节点删除:右键单击画布中的节点图标,选择删除或按快捷键Delete。 多节点删除:按下键盘中的Ctrl,单击画布中需要删除的节点图标,在当前作业画布空白处单击右键,选择删除或按快捷键Delete。 |
复制 | 支持复制一个或多个节点至任意作业中: 单节点复制:右键单击画布中的节点图标,选择复制或按快捷键Ctrl+C,在作业画布空白处粘贴节点或按快捷键Ctrl+V,复制后的节点携带原节点的配置信息。 多节点复制:按下键盘中的Ctrl,单击画布中需要复制的节点图标,在当前作业画布空白处单击右键选择复制或按快捷键Ctrl+C,在目标作业画布空白处粘贴或按快捷键Ctrl+V。复制后的节点携带原节点的配置信息,但不包含节点间的连接关系。 |
测试运行 | 测试运行该节点。 |
从当前节点测试运行 | 仅在批作业下显示该选项。选择“从当前节点测试运行”,则测试运行当前节点以及后续节点。 |
添加/删除连线 | 可以选择为两个不同的节点添加或删除连线, |
编辑CDM作业 | 仅CDM Job节点显示该选项。选择CDM集群和作业后,可以跳转到CDM作业编辑页面,进行作业修改。 |
查看CDM作业日志 | 仅CDM Job节点显示该选项。当CDM作业运行后,右键选中CDM Job节点,单击“查看CDM日志”,可以跳转到作业监控页面,查看作业日志打印的详细信息,帮助开发者定界定位作业运行异常原因。 |
编辑脚本 | 仅关联了脚本的节点显示该选项。跳转到脚本编辑页面,对关联的脚本进行编辑。 |
添加便签 | 为该节点添加便签,每个节点可以有多个便签。 |
- (可选)配置连线功能。右键单击画布中的节点间连线,显示“删除”和“设置条件”功能,您可以根据实际需要进行选择。
− 删除:可以删除节点间的连线。
− 设置条件:在弹出的窗口中,您可以通过EL表达式语法填写三元表达式。当三元表达式结果为true的时候,才会执行连线后面的节点,否则后续节点将被跳过。
如下图所示,是一个典型的三元表达式。当“DQM”节点的运行结果为true时,才会执行连线后的节点。当运行结果为false时,如果失败策略为“跳过所有节点”,则该连线后面的节点A以及A后的所有节点均会被跳过。
关于EL表达式的语法,您可以查看 表达式概述。
配置作业基本信息
为作业配置责任人、优先级信息后,用户可根据责任人、优先级来检索相应的作业。操作方法如下:
单击画布右侧“作业基本信息”页签,展开配置页面,配置如下表所示的参数。
作业基本信息
参数 | 说明 |
---|---|
作业责任人 | 自动匹配创建作业时配置的作业责任人,此处支持修改。 |
执行用户 | 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 |
作业委托 | 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 |
作业优先级 | 自动匹配创建作业时配置的作业优先级,此处支持修改。 |
实例超时时间 | 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户。 |
自定义字段 | 配置自定义字段的参数名称和参数值。 |
作业标签 | 配置作业的标签,用以分类管理作业。单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 |
配置作业参数
作业参数为全局参数,可用于作业中的任意节点。操作方法如下:
单击画布的空白处,在右侧显示“作业参数配置”页签,单击此页签,展开配置页面,配置如下表示的参数。
作业参数配置
功能 | 说明 |
---|---|
参数 | |
新增 | 单击“新增”,在文本框中填写作业参数的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 − 字符串类的参数直接填写字符串,例如:str1 − 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} |
修改 | 在参数名和参数值的文本框中直接修改。 |
掩码显示 | 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 |
删除 | 在参数值文本框后方,单击,删除作业参数。 |
常量 | |
新增 | 单击“新增”,在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 − 字符串类的参数直接填写字符串,例如:str1 − 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} |
修改 | 在参数名和参数值的文本框中直接修改,修改完成后,请保存。 |
删除 | 在参数值文本框后方,单击,删除作业常量。 |
调测并保存作业
作业编排和配置完成后,请执行以下操作:
批处理作业
- 单击画布上方的测试运行按钮,测试作业。
- 测试完成后,单击画布上方的保存按钮,保存作业的配置信息。如果测试未通过请按照提示修改后再次运行。
实时处理作业
单击画布上方的保存按钮,保存作业的配置信息。