前提条件
- 已购买独享调度资源组,并确保调度资源组与翼MR集群间网络可连通(在同一VPC下)。
使用限制
- 仅支持使用独享调度资源组在DataWings运行翼MR任务。
页面进入
单击左上方的图标,选择全部产品 > 系统管理 > 集群管理 > 引擎管理。
功能说明
新增引擎实例
1、配置引擎基本信息
参数 | 说明 |
---|---|
引擎实例名称 | 当前引擎在DataWings的名称,用于标识当前引擎的配置信息。 |
访问模式 | 简单模式:DataWings用户绑定同一个翼MR集群用户(LDAP用户),所有引擎任务使用同一个集群用户身份提交并执行任务。 |
集群类型 | 当前仅支持翼MapReduce集群。 |
集群场景 | 支持数据湖场景和数据分析场景。 |
集群名称 | 已注册的集群名称,详情请见集群注册。 |
2、配置资源组信息
资源组名称:已购买的独享调度资源组。
测试连通性:您需要确保调度资源组与集群之间网络是互通的,才能成功创建引擎以及执行引擎任务。
3、配置引擎信息
参数 | 说明 |
---|---|
是否启用Hudi | 若您购买的翼MR集群包含Spark-Hudi客户端,您可以选择启用Hudi,启用后在即席查询模块,您可以创建Hudi类型的数据分析任务。 |
队列 | 当前引擎可以使用的集群队列列表。 |
default队列 | 当前引擎默认使用的队列。 |
更多队列 | 支持给不同的产品模块配置任务执行的yarn队列,未配置时将使用全局default队列。支持配置的模块有:数据开发、即席查询、数据质量、数据建模等。 |
访问身份配置 | 集群用户(LDAP用户)默认配置为hive用户,您可以重新输入以修改集群用户。 |
4、默认数据源及数据地图采集器
数据湖引擎:数据湖引擎上线后,系将将为您自动创建Hive数据源及Doris数据源(需在集群注册已配置Doris信息)、元数据采集器(若您购买的版本包含数据地图功能)。
数据分析引擎:数据分析引擎上线后,系统将为您自动创建Doris数据源、元数据采集器(若您购买的版本包含数据地图功能)。
引擎其他操作说明
操作 | 说明 |
---|---|
查看 | 查看引擎信息。 |
编辑 | 编辑引擎信息。 |
下线 | 针对已上线状态的引擎,您可以下线当前引擎。 引擎下线后,资源组服务将关闭,您将无法提交任务至当前引擎,已经执行的任务将会执行失败,数据源、元数据采集不受影响。 |
上线 | 针对已下线、引擎异常状态的引擎,您可以上线引擎(所有资源组节点或异常节点),上线过程中将启动资源组节点服务。 |
删除 | 针对已下线的引擎,且您不再使用当前集群,您可以删除此引擎,引擎删除后,将会自动删除此引擎的相关业务信息, 包括内置数据源、内置元数据采集器、数据建模、数据质量规则等,请谨慎操作。 |
日志 | 针对上线、下线流程,您可以查看引擎相关日志。 |