DLI在开源Spark基础上进行了大量的性能优化与服务化改造,兼容Apache Spark生态和接口,执行批处理任务。
DLI还支持使用Spark作业访问DLI元数据。
Spark作业管理主要包括如下功能:
- 创建Spark作业
- 重新执行作业
- 查找作业
- 终止作业
以及查看“使用指南”和“使用视频”。
作业管理页面
在总览页面单击“Spark作业”简介,或在左侧导航栏单击“作业管理”>“Spark作业”,可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。
作业管理参数
参数 | 参数说明 |
---|---|
作业ID | 所提交Spark作业的ID,由系统默认生成。 |
名称 | 所提交Spark作业的名称。 |
队列 | 所提交Spark作业所在的队列。 |
用户名 | 执行Spark作业的用户名称。 |
状态 | 作业的状态信息,包括如下。 启动中:正在启动 运行中:正在执行任务 已失败:session已退出 已成功:session运行成功 恢复中:正在恢复任务 |
创建时间 | 每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。 |
最后修改时间 | 作业运行完成的时间。 |
操作 | 编辑:可修改当前作业配置,重新执行作业。 SparkUI:单击后,将跳转至Spark任务运行情况界面。 说明 状态为“启动中”的作业不能查看SparkUI界面。 目前DLI配置SparkUI只展示最新的100条作业信息。 终止作业:终止启动中和运行中的作业。 重新执行:重新运行该作业。 归档日志:将作业日志保存到系统创建的DLI临时数据桶中。 提交日志:查看提交作业的日志。 Driver日志:查看运行作业的日志。 |
重新执行作业
在“Spark作业”页面,单击对应作业“操作”列中的“编辑”,跳转至“Spark作业编辑”页面,可根据需要修改参数,执行作业。
查找作业
在“Spark作业”页面,选择“状态”或“队列”。系统将根据设置的过滤条件,在作业列表显示符合对应条件的作业。
终止作业
在“Spark作业”页面,单击对应作业“操作”列中的“更多”>“终止作业”,可停止启动中和运行中的作业。