在Flink作业管理页面可提交Flink作业。目前有以下作业类型:
- Flink SQL作业:使用SQL语句定义作业,可以提交到通用队列上。
- Flink Jar作业:基于Flink API的自定义Jar包作业,可以运行在独享队列上。
Flink作业管理主要包括如下功能:
- Flink作业权限管理
- 创建Flink SQL作业
- 创建Flink Jar作业
- 调试Flink作业
- 编辑作业
- 启动作业
- 停止作业
- 删除作业
- 导出作业
- 导入作业
- 名称和描述修改
- 导入保存点
- 触发保存点
- 运行时配置
- Flink作业详情
以及查看“使用指南”和“使用视频”。
委托权限设置
DLI执行Flink作业需要进行委托授权,可在第一次登录管理控制台时进行设置,也可在“全局配置”>“服务授权”中进行修改。
具体权限如下:
- Tenant Administrator(全局服务):DLI Flink作业访问和使用OBS或者DWS数据源、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。
说明
由于云服务缓存需要时间,该权限60分钟左右才能生效。
- CloudTable Administrator:DLI Flink作业访问和使用CloudTable数据源,需要获得访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。
说明
由于云服务缓存需要时间,该权限3分钟左右才能生效。
作业管理页面
在总览页面单击“Flink作业”简介,或在左侧导航栏单击“作业管理”>“Flink作业”,可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。
作业管理参数
参数 | 参数说明 |
---|---|
ID | 所提交Flink作业的ID,由系统默认生成。 |
名称 | 所提交Flink作业的名称。 |
类型 | 所提交Flink作业的类型。包括: Flink SQL:Flink SQL作业 Flink Jar:Flink Jar作业 |
状态 | 作业的状态信息,包括: 草稿 提交中 提交失败 运行中(提交作业后,返回正常结果) 运行异常(作业发生运行时异常,停止运行作业) 下载中 空闲 停止中 已停止 停止失败 保存点创建中 已完成 |
描述 | 所提交Flink作业的描述。 |
用户名 | 提交作业的用户名称。 |
创建时间 | 每个作业的创建时间。 |
开始时间 | Flink作业开始运行的时间。 |
运行时长 | 作业运行所消耗的时间。 |
操作 | 编辑:编辑已经创建好的作业。具体请参见操作Flink作业章节中的“编辑作业”。 启动:启动作业并运行。具体请参见操作Flink作业章节中的“启动作业”。 更多 − FlinkUI:单击后,将跳转至Flink任务运行情况界面。 说明 如果是新建队列,在该队列提交作业后,如果立即单击FlinkUI,因为后台大约需要10分钟创建集群,会导致缓存空的projectID,从而导致无法查看FlinkUI。 建议作业选择使用专属队列,后台集群不会被释放,避免上述问题产生。或者等待作业运行中时再查看FlinkUI,确保集群已经拉好了,不要立即单击FlinkUI。 − 停止:停止Flink作业。如果该功能置灰,表示当前状态的作业不支持停止。 − 删除:删除作业。 说明 作业删除后不可恢复,请谨慎操作。 − 名称和描述修改:修改作业名称和描述。具体请参见操作Flink作业章节中的“名称和描述修改”。 − 导入保存点:导入原实时流计算服务作业导出的数据。具体请参见操作Flink作业章节中的“导入保存点”。 − 触发保存点:“运行中”的作业可以“触发保存点”,保存作业的状态信息。具体请参见操作Flink作业章节中的“触发保存点”。 − 权限管理:查看作业对应的用户权限信息以及对其他用户授权。具体请参考Flink作业权限管理。 − 运行时配置:支持作业在运行时配置作业异常告警和异常自动重启。具体请参见操作Flink作业章节中的“运行时配置”。 |