批作业监控提供了对批处理作业的状态进行监控的能力。
批处理作业支持作业级别的调度计划,可以定期处理批量数据,主要用于实时性要求低的场景。批作业是是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。
您可以在“作业监控 > 批作业监控”页面查看批处理作业的调度状态、调度频率、调度开始时间等信息,以及进行如下表所示的操作。
详见下图:批作业监控
批作业监控支持的操作项
序号 | 支持的操作项 | 说明 |
---|---|---|
1 | 根据“作业名”或“责任人名”搜索作业 | - |
2 | 根据“作业是否配置通知”、“调度状态”、“作业标签”或“下次计划时间”范围,筛选作业 | - |
3 | 批量配置作业 | 通过勾选作业名称前的复选框,支持批量执行操作。 |
4 | 查看作业实例状态 | 单击作业名称前方的,显示“最近的实例”页面,查看该作业最近的实例信息。 |
5 | 查看作业的节点信息 | 单击作业名称,在打开的页面中点击作业节点,查看该节点的相关关联作业/脚本与监控信息。 |
6 | 调度作业相关 | 在作业的“操作”列,支持执行调度、暂停调度、恢复调度、停止调度、调度配置等,详情请参见批作业监控章节中的“调度作业”。 |
7 | 通知设置 | 在作业的“操作”列,选择“更多 > 通知设置”,弹出“新建通知”页面,参考管理通知章节中的通知参数表。 |
8 | 实例监控 | 在作业的“操作”列,选择“更多 > 实例监控”,跳转到实例监控页面,查看该作业所有实例的运行记录。 |
9 | 补数据 | 在作业的“操作”列,选择“更多 > 补数据”,弹出“补数据”对话框,详情请参见批作业监控章节中的“补数据”。 |
10 | 添加作业标签 | 在作业的“操作”列,选择“更多 > 添加作业标签”,弹出“添加作业标签”对话框,详情请参见批作业监控:添加作业标签。 |
批作业监控:调度作业
作业开发完成后,用户可以在“作业监控”页面中管理作业的调度任务,例如:执行调度、暂停调度、恢复调度、停止调度。
详见下图:调度作业
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
详见下图:选择数据开发
- 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
- 单击“批作业监控”页签,进入批作业的监控页面。
- 在作业的“操作”列,单击“执行调度”/“暂停调度”/“恢复调度”/“停止”。
如果该批处理作业设置有依赖的作业,执行调度该作业时可以设置为只启动当前作业或同时启动依赖的作业。如何配置依赖作业,请参见调度作业章节中的“配置作业调度任务(批处理作业)”。
详见下图:启动作业
批作业监控:补数据
补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
只有配置了周期调度的作业,才支持使用该功能。如需查看补数据的执行情况,请参见补数据监控。
说明当作业正在补数据时,请勿修改作业配置,否则会影响补数据过程中生成的作业实例。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
详见下图:选择数据开发
- 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
- 单击“批作业监控”页签,进入批作业的监控页面。
- 在作业的“操作”列,选择“更多 > 补数据”。
- 弹出“补数据”对话框,配置如下表所示的参数。
详见下图:补数据参数
参数说明
参数 | 说明 |
---|---|
补数据名称 | 系统自动生成一个补数据的任务名称,允许修改。 |
作业名称 | 显示需要补数据的作业名称。 |
业务日期 | 选择需要补数据的时间段。 说明 一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠,否则可能导致数据重复或混乱,用户请谨慎操作。 |
并行周期数 | 设置同时执行的实例数量,最多可同时执行5个实例。 说明 请根据实际情况配置并行周期数,例如CDM作业实例,不可同时执行补数据操作,并行周期数只可设置为1。 |
需要补数据的下游作业 | 选择需要补数据的下游作业(指依赖于当前作业的作业),支持多选。 |
- 单击“确定”,开始补数据,并进入“补数据监控”页面。
批作业监控:添加作业标签
支持给作业添加标签,便于作业实例的筛选分类。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
详见下图:选择数据开发
- 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
- 单击“批作业监控”页签,进入批作业的监控页面。
- 在作业的“操作”列,选择“更多 > 添加作业标签”。
- 弹出“添加作业标签”对话框,填写需要配置的作业标签。
详见下图:添加作业标签参数
- 填写完标签后,单击“确认”,完成作业标签的添加。