队列
DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。
当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。
- SQL队列用于运行SQL作业。
- 通用队列用于运行Spark程序、Flink SQL、Flink Jar作业。
约束限制
- DLI服务预置了名为“default”的队列供用户体验,资源的大小按需分配。
- 队列类型:
−SQL类型队列:SQL队列支持提交Spark SQL作业。
−通用队列:支持Spark程序、Flink SQL、Flink Jar作业。
不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。
- 队列不支持切换区域。
- 16CUs队列不支持扩容和缩容。
- 64CUs队列不支持缩容。
- 新创建的队列需要运行作业后才可进行扩缩容。
- DLI队列不支持访问公网。
计算资源和存储资源的区别
详见下表:计算资源和存储资源的区别
资源名称 | 获取方式 | 主要作用 |
---|---|---|
计算资源 | 在DLI管理控制台创建队列。 | 执行查询。 |
存储资源 | DLI服务自带5G配额。 | 存储数据库和DLI表。 |
说明
存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。
存储资源无需创建,DLI默认提供5G配额。
DLI服务预置了名为“default”的队列。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。
“default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。
专属队列
专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。
队列弹性扩缩容
DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后,可根据需要进行弹性扩缩容。
根据业务情况,手动更改队列规格。具体操作请参考队列弹性扩缩容。
说明
新创建的队列需要运行作业后才可进行扩缩容。
队列弹性扩缩容定时任务
DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性扩缩容定时任务。
根据业务情况,设置队列自动扩缩容的时间,由系统定时触发队列扩缩容。具体操作请参考弹性扩缩容定时任务。
说明
新创建的队列需要运行作业后才可进行扩缩容。
队列自动扩缩容
Flink作业使用队列,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。
说明新创建的队列需要运行作业后才可进行扩缩容。
队列管理页面
队列管理主要包括如下功能:
- 队列权限管理
- 创建队列
- 删除队列
- 修改队列网段
- 队列弹性扩缩容
- 弹性扩缩容定时任务
- 测试地址连通性
- 创建消息通知主题
说明DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。
队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。
队列管理参数
参数 | 参数说明 |
---|---|
名称 | 队列的名称。 |
类型 | 队列的类型。 SQL队列 通用队列 Spark队列(兼容老版本) |
规格 | 队列大小,单位:CUs。 CUs是队列的计价单位。1CUs=1Core 4GMem。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。 |
实际CUs | 当前队列实际大小值。 |
弹性扩缩容 | 定时扩缩容的目标CU值,或当前规格CU值的最大值和最小值。 |
用户名 | 队列所有者。 |
描述 | 创建队列时,对队列的描述。如果无描述,则显示“--”。 |
操作 | 删除:删除所选队列。如果队列中有正在提交或者正在运行的作业,将不支持删除操作。 权限管理:查看队列对应的用户权限信息以及对其他用户授权。 更多 − 重启:强制重启队列。 说明 只有SQL队列有“重启”操作。 − 弹性扩缩容:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。 − 弹性扩缩容定时任务:可以根据业务周期或使用情况,在不同的时间或周期内设置不同的队列大小,系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。 − 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网段不能重合,可根据需要进行修改。 − 测试地址连通性:测试队列到指定地址是否可达,支持域名和ip,可指定端口。 |