实时作业监控提供了对实时处理作业的状态进行监控的能力。
实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息,以及进行如下表所示的操作。
详见下图:实时作业监控
实时作业监控支持的操作项
序号 | 支持的操作项 | 说明 |
---|---|---|
1 | 根据“作业名”或“责任人名”搜索作业 | - |
2 | 根据“运行状态”或“作业标签”筛选作业 | - |
3 | 批量配置作业 | 通过勾选作业名称前的复选框,支持批量执行操作。 |
4 | 查看作业实例状态 | 单击作业名称前方的,显示“最近的实例”页面,查看该作业最近的实例信息。 |
5 | 作业状态相关 | 在作业的“操作”列,支持作业级别的启动、暂停、恢复、停止调度等。 |
6 | 添加作业标签 | 在作业的“操作”列,选择“更多 > 添加作业标签”,弹出“添加作业标签”对话框进行配置。 |
7 | 查看作业的节点信息 | 单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。 说明 当作业中某个节点配置有事件驱动调度时,在单击此节点时会弹出子作业监控页面。 |
8 | “禁用”和“恢复”节点 | 单击作业名称,进入“作业监控”详情页面后,右键单击某个节点选择“禁用”,禁用后可以再选择“恢复”,恢复运行时可以重新选择运行位置。详情请参见下方“实时作业监控:禁用节点后恢复”。 |
9 | 查看启动日志 | 单击作业名称,进入“作业监控”详情页面后,右键单击某个节点选择“查看启动日志”,您可以查看该节点的日志信息。 |
10 | 调度配置 | 单击作业名称,进入“作业监控”详情页面后,在“作业监控”详情页面中右键单击配置有事件驱动调度的节点,选择“调度配置”,您可以查看查看和修改节点的调度信息。详情请参见下方“实时作业监控:事件驱动调度节点调度配置”。 |
11 | 子作业监控 | 单击作业名称,进入“作业监控”详情页面后,单击配置有事件驱动调度的节点,查看子作业监控页面。详情请参见下方“实时作业监控:子作业监控”。 |
12 | 清除通道消息 | 单击作业名称,进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“清除通道消息”,您可以清除通道消息。 |
实时作业监控:禁用节点后恢复
您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
详见下图:选择数据开发
- 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
- 选择“实时作业监控”页签,单击作业名称。
- 进入“作业监控”详情页面后,右键单击节点,选择“禁用”。
- 设置禁用后,再右键单击选择“恢复”。弹出“恢复”对话框,配置如下表所示的参数。
恢复参数说明
参数 | 说明 |
---|---|
上次暂停时间 | 节点暂停运行的起始时间。 |
未运行任务数 | 节点暂停期间没有运行的任务数量。 |
运行位置 | “运行暂停期间任务”的参数。 表示选择节点暂停运行后,恢复运行时的启动位置。 从暂停节点开始运行 从子作业第一个节点开始运行 |
处理并发数 | “运行暂停期间任务”的参数。 表示选择任务处理的数量。 |
任务名称 | “运行暂停期间任务”的参数。 表示恢复的任务名称。 |
实时作业监控:事件驱动调度节点调度配置
当您配置的实时作业中某个节点配置有事件驱动调度时,在“作业监控”详情页面中右键单击配置有事件驱动调度的节点,选择“调度配置”,可以查看和修改节点的调度信息。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
详见下图:选择数据开发
- 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
- 选择“实时作业监控”页签,单击作业名称。
- 进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“调度配置”,配置如下表所示的参数。
详见下图:调度配置
调度配策略参数说明
参数 | 说明 |
---|---|
事件处理并发数 | 选择作业并行处理的数量,最大并发数为10。 |
事件检测间隔 | 配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。 |
失败策略 | 选择调度失败后的策略: 结束调度 忽略失败,继续调度 |
实时作业监控:子作业监控
当用户配置的作业中某个节点配置有事件调度时,单击此节点可以查询子作业监控。在“子作业监控”页面可以对子作业设置停止、重跑、继续执行、强制成功、查看事件内容等操作。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
详见下图:选择数据开发
- 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
- 选择“实时作业监控”页签,单击作业名称。
- 进入“作业监控”详情页面后,单击配置有事件调度的节点。
详见下图:子作业监控
在“子作业监控”页面的“操作”列,提供如下表所示的操作。
子作业监控操作
操作项 | 说明 |
---|---|
停止 | 停止运行状态为“运行中”的子作业实例。 |
重跑 | 重新运行状态为“成功”或“失败”的子作业实例。 |
继续执行 | 子作业实例的状态为“运行异常”时,支持继续运行子作业实例中的后续节点。 说明 只有节点的“节点属性>高级 > 失败策略”设置为“挂起当前作业执行计划”时,才可以执行该操作。 |
强制成功 | 强制将状态为“失败”的子作业实例变更为“运行成功”状态。 |
事件内容 | 查看子作业的事件内容。 |
- 单击“子作业监控”页面“状态”列下方的,显示该子作业节点的运行记录。
在节点的“操作”列,提供如下表所示的操作。
操作(节点)
操作项 | 说明 |
---|---|
查看日志 | 查看节点的日志信息。 |
更多> 手工重试 | 节点的状态为“失败”时,支持重新运行节点。 说明 只有节点的“节点属性>高级 > 失败策略”设置为“挂起当前作业执行计划”时,才可以执行该操作。 |
更多> 强制成功 | 节点的状态为“失败”时,支持将该节点强制变更为“成功”状态,且实例监控中作业实例的状态显示为“强制成功”。 说明 只有节点的“节点属性>高级 > 失败策略”设置为“挂起当前作业执行计划”时,才可以执行该操作。 |
更多> 跳过 | 节点的状态为“待运行”或“已暂停节点”时,支持跳过该节点。 |
更多> 暂停 | 节点的状态为“待运行”时,支持暂停运行该节点,该暂停节点的后续节点将会被阻塞。 |
更多> 恢复 | 节点的状态为“已暂停”时,支持恢复运行该节点。 |