前提条件
- 已购买独享调度资源组,并确保调度资源组与翼MapReduce集群间网络可连通(在同一VPC下)。
使用限制
- 仅支持使用独享调度资源组在DataWings运行翼MapReduce任务。
页面进入
单击左上方的图标,选择全部产品 > 系统管理 > 集群管理 > 引擎管理。
功能说明
新增引擎实例
1、配置引擎基本信息。
参数 | 说明 |
---|---|
引擎实例名称 | 当前引擎在DataWings的名称,用于标识当前引擎的配置信息。 |
访问模式 | 简单模式:DataWings用户绑定同一个翼MR集群用户(LDAP用户),所有引擎任务使用同一个集群用户身份提交并执行任务。 |
集群类型 | 当前仅支持翼MapReduce集群。 |
集群场景 | 支持数据湖场景和数据分析场景。 |
集群名称 | 已注册的集群名称,详情请见集群注册。 |
2、配置资源组信息。
资源组名称:已购买的独享调度资源组。
测试连通性:您需要确保调度资源组与集群之间网络是互通的,才能成功创建引擎以及执行引擎任务。
3、配置引擎信息。
参数 | 说明 |
---|---|
是否启用Hudi | 若您购买的翼MapReduce集群包含Spark-Hudi客户端,您可以选择启用Hudi,启用后在即席查询模块,您可以创建Hudi类型的数据分析任务。 |
队列 | 当前引擎可以使用的集群队列列表。 |
default队列 | 当前引擎默认使用的队列。 |
更多队列 | 支持给不同的产品模块配置任务执行的yarn队列,未配置时将使用全局default队列。支持配置的模块有:数据开发、即席查询、数据质量、数据建模等。 |
访问身份配置 | 集群用户(LDAP用户)默认配置为hive用户,您可以重新输入以修改集群用户。 |