DLI Flink作业支持哪些数据格式和数据源
DLI Flink作业支持如下数据格式:
Avro,Avro_merge,BLOB,CSV,EMAIL,JSON,ORC,Parquet,XML。
DLI Flink作业支持如下数据源:
CloudTable HBase,CloudTable OpenTSDB,CSS Elasticsearch,DCS,DDS,DIS,DMS,DWS,EdgeHub,MRS HBase,MRS Kafka,开源Kafka,文件系统,OBS,RDS,SMN。
如何给子用户授权查看Flink作业?
子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权:
- DLI授权管理
1.使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
2.在“作业管理”>“Flink作业”页面找到对应的作业。
3.在对应作业的“操作”栏中选择“更多”>“权限管理”。
4.在“授权”页面输入需要授权的用户名,勾选需要的权限。确认后,被授权用户就可以查看该作业,并且执行对应操作。
- IAM授权管理
1.登录统一身份认证IAM控制台,在“权限”页面,单击“创建自定义权限”。
2.为查看DLI Flink作业创建权限策略:
-策略名称:可以使用默认名称,也可以自定义。
-作用范围:选择“项目级服务”。
-策略配置方式:选择“可视化视图”。
-策略内容:依次选择“允许”,“数据湖探索”,“dli:jobs:list_all”。
单击“确认”,创建策略。
3.在“用户组”页面,找到需要授权的用户所属的用户组,单击用户组名称,进入用户组“权限管理”页面,单击“配置权限”。
4.为对应的用户组授权:
-在以下作用范围:选择“区域级项目”。
-拥有以下权限:勾选b中创建的权限策略。
或者勾选系统角色“DLI Service Admin”(权限较大,拥有DLI所有权限)也可以实现Flink作业的查看。
Flink作业设置“异常自动重启”
场景概述
DLI Flink作业具有高可用保障能力,通过设置“异常自动重启”功能,可在周边服务短时故障恢复后自动重启。
操作步骤
1.登录DLI控制台,选择“作业管理”>“Flink作业”。
2.在Flink作业编辑页面,勾选“异常自动重启”。
Flink作业如何保存作业日志
在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。
勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。
日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。
在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。
Flink作业管理界面对用户进行授权时报用户不存在怎么办
问题现象
在“作业管理 > Flink作业”,对应作业“操作”列,选择“更多 > 权限管理”,对新用户进行授权操作时报“No such user. userName:xxxx.”错误。
解决方案
需要确认下当前用户名是否存在,并且该用户需要成功登录一次云系统才能进行授权操作。
手动停止了Flink作业,再次启动时没有提示从哪个Checkpoint恢复
问题现象
在创建Flink作业时开启了Checkpoint,指定了Checkpoint保存的OBS桶。手工停止Flink作业后,再次启动该Flink作业没有提示从哪个Checkpoint恢复。
解决方案
由于Flink Checkpoint和Savepoint生成机制及格式一致,因而,也可以通过Flink作业列表“操作”列中的“更多 > 导入保存点”,导入OBS中最新成功的Checkpoint,并从中恢复。
1.登录DLI管理控制台,选择“作业管理 > Flink作业”。
2.在对应Flink作业所在行,选择“操作 > 导入保存点”。
3.在导入保存点界面选择Checkpoint的OBS桶路径,Checkpoint保存路径为:“桶名/jobs/checkpoint/作业id开头的目录”。单击“确定”完成导入操作。
4.再次启动Flink作业,即从对应的检查点路径恢复作业。
DLI使用SMN主题,提示SMN主题不存在,怎么处理?
设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。
如果使用已创建的SMN主题时,提示SMN主题不存在,请进入统一身份认证服务(IAM),选择对应子账户所在的用户组,添加相应Region的SMN策略。