本章节主要介绍从创建弹性资源池、创建增强型跨源、添加队列到弹性资源池并运行作业的一个完整流程,帮助您更好、更方便的使用弹性资源池。
创建弹性资源池运行作业流程图
阶段 | 说明 | 参考文档 |
---|---|---|
步骤一:创建弹性资源池 | 创建弹性资源池,配置弹性资源池的基本信息,如:计费模式、CU范围、网段等配置。 | 创建弹性资源池 |
步骤二:添加队列到弹性资源池 | 添加作业运行的队列到弹性资源池。具体内容包括: 1. 设置弹性资源池队列的名称、队列类型等基本信息。 2. 配置当前队列的扩缩容策略,包括队列策略的优先级、时间段、最大最小CU范围等配置。 |
弹性资源池添加队列 , 弹性资源池队列管理 |
(可选)步骤三:创建增强型跨源连接 | 如果运行的作业需要跨源访问其他外部数据源数据,如作业需要访问DWS、RDS等数据时,需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 | 创建增强型跨源连接 |
步骤四:运行作业 | 根据业务需求创建和提交作业。 | SQL作业管理,Flink作业管理概述,创建Spark作业 |
创建弹性资源池
1.登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。
2.在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。
- 在“购买弹性资源池”界面,填写具体的弹性资源池参数,具体参数填写参考如下。
−名称:填写具体的弹性资源池名称。例如设置为:pool_test。
−CU范围:弹性资源池扩缩容的CU范围。
−网段:配置弹性资源池网段。例如当前配置为172.16.0.0/18。
−其他参数根据需要选择和配置。
详细的弹性资源池创建流程可以参考创建弹性资源池。
4.参数填写完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成弹性资源池创建。
5.弹性资源池创建任务提交后,会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态,当状态显示为“可使用”时表示资源池可以正常使用。
添加队列到弹性资源池
1.在已创建的弹性资源池的“操作”列,单击“添加队列”进入弹性资源池添加的队列的操作界面。
2.首先配置弹性资源池队列的基本信息,具体参数参考如下。
−名称:添加的队列的名称。
−类型:根据作业需要选择队列类型。本示例选择为:通用队列。
SQL队列类型:用于运行Spark SQL和Trino作业。
通用队列类型:用于运行Flink和Spark Jar作业。
−其他参数请根据需要配置。
3.配置完基本参数后,单击“下一步”,在队列的扩缩容策略配置界面,修改扩缩容策略配置:最小CU:64、最大CU:64。
4.单击“确定”完成添加队列操作。
(可选)创建增强型跨源连接
本示例演示的操作需要跨源连接RDS外部数据源,所以需要创建跨源连接。如果作业不需要连接外部数据源,则该步骤可以跳过。
1.登录RDS控制台,创建RDS数据库实例。登录RDS实例后,单击“新建数据库”,创建名称为“test2”的数据库。
2.在“test2”的数据库所在行,操作列,单击“SQL查询”,输入以下创建表语句,单击“执行SQL”创建表“tabletest2”。建表语句参考如下:
CREATE TABLE `tabletest2` (
`id` int(11) unsigned,
`name` VARCHAR(32)
) ENGINE = InnoDB DEFAULT CHARACTER SET = utf8mb4;
3.在RDS管理控制台,单击“实例管理”,单击已创建的RDS具体实例名称,查看该RDS实例的“基本信息”。
4.在“基本信息”的“连接信息”中获取该实例的“内网地址”、“数据库端口”、“虚拟私有云”和“子网”信息,方便后续操作步骤使用。
5.单击“连接信息”中的安全组名称,在“入方向规则”中添加放通弹性资源池网段的规则。例如本示例为3弹性资源池网段为“172.16.0.0/18”,数据库端口为3306,则规则添加为:优先级选为:1,策略选为:允许,协议级别和端口选择:TCP和3306,类型:IPV4,源地址为:172.16.0.0/18
单击“确定”完成安全组规则添加。
6.登录DLI管理控制台,在左侧导航栏单击“跨源管理”,在跨源管理界面,单击“增强型跨源”,单击“创建”。
7.在增强型跨源创建界面,配置具体的跨源连接参数。具体参考如下。
−连接名称:设置具体的增强型跨源名称。
−弹性资源池:选择步骤一:创建弹性资源池中已经创建的好的弹性资源池。
说明如果该步骤不选择弹性资源池,可以创建跨源完后,在增强型跨源界面,在对应跨源连接所在行的“操作”列,单击“更多 > 绑定弹性资源池”进行绑定。
−虚拟私有云:选择4中获取的RDS的虚拟私有云。
−子网:选择4中获取的RDS的子网。
−其他参数可以根据需要选择配置。
参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为:“已激活”后可以进行后续步骤。
8.单击“资源管理 > 队列管理”,选择操作的队列,如本示例的“general_test”,在操作列,单击“更多 > 测试地址连通性”。
9.在“测试连通性”界面,根据4中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试到RDS网络是否可达。
运行作业
本示例通过在弹性资源池队列上运行一个Flink SQL举例演示。
- 在DLI管理控制台,单击“作业管理 > Flink作业”,在Flink作业管理界面,单击“创建作业”。
- 在创建作业界面,类型选择“Flink SQL”,名称填写为:testFlinkSqlJob。单击“确定”,跳转到Flink作业编辑界面。
- 在Flink SQL作业编辑界面,配置如下参数。
−所属队列:选择步骤二:添加队列到弹性资源池中弹性资源池添加的队列“general_test”。
−保存作业日志:勾选。
−OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。
−开启Checkpoint:勾选。
−Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。具体加粗的参数需要根据实际情况修改。
CREATE SINK STREAM car_info (id INT, name STRING) WITH (
type = "rds",
region = "", /* 根据情况修改为当前的region ID*/
'pwd_auth_name'="xxxxx", // DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。
db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */
table_name = "tabletest2" /* RDS数据下的表名 */
);
INSERT INTO
car_info
SELECT
13,
'abc';
4.单击“语义校验”确保SQL语义校验成功。单击“保存”,保存作业。单击“启动”,启动作业,确认作业参数信息,单击“立即启动”开始执行作业。
5.等待作业运行完成,作业状态显示为“已完成”。
6.登录RDS控制台,单击RDS数据库实例,单击创建的数据库名,如“test2”,在创建的表“tabletest2”所在行的“操作”列,单击“SQL查询”。
7.在“SQL查询”界面,单击“执行SQL”,查看RDS表数据已写入成功。