当master、core或task节点组内的计算或存储资源无法满足您的业务需求时,您可以使用节点扩容功能增加实例数量。
背景信息
- V2.15版本起,数据湖、数据分析、数据服务、实时数据流与自定义场景支持节点扩容功能。
- V2.17版本起,云搜索场景支持节点扩容功能。
- V2.17版本起,新增master扩容功能,支持对Hive、HDFS、YARN、ZooKeeper、Kyuubi等服务的部分角色实例进行扩容。数据分析与云搜索场景暂不支持master扩容。
- 仅支持对状态为“运行中”的集群进行节点扩容操作。
操作步骤
Core与Task扩容
- 登录翼MapReduce管理控制台。
- 从“我的集群”中 ,选中一个运行中的集群并单击集群名称,进入集群信息页面。
- 选择“节点管理”,在需要扩容的节点组的“操作”列单击“扩容”,在节点扩容弹窗中进行配置。
- 选择需要扩容的配置并完成支付后,可在“节点管理”的节点信息中,查看节点扩容结果。当节点组状态从“变更中”变为“运行中”,且展开节点组信息可以看到新增节点,表示扩容成功。
Master扩容
- 登录翼MR控制台,进入目标集群,在节点管理页面,点击master节点组操作列中的“扩容”按钮。
说明
当前仅支持对Hive、HDFS、YARN、ZooKeeper、Kyuubi以及OpenLDAP集群服务的部分角色实例进行扩容。
自定义场景下,若集群已部署上述组件服务,Master扩容按钮亮起,否则按钮将置灰。
- 在弹窗中,选择需要增加的节点数,并规划新增节点上需要部署的服务。
说明仅支持对已部署的服务进行master扩容,如需新增服务,请先完成新增集群服务操作,再进行Master节点扩容。
- 若选择在新增master节点上部署ZooKeeper-ZKServer、HDFS-NameNode、YARN-ResourceManager或Hive-MetaStore角色实例,在控制台显示扩容完成后,需要前往翼MR-Manager,在相应的集群服务详情中进行“Master配置生效”操作。
说明
HDFS扩容后,请对服务进行滚动重启操作。
扩容与配置生效过程中,请勿进行其他运维操作,避免影响扩容生效。
配置生效过程中可能产生短暂的服务不可用,请合理安排操作时间。
进行配置生效前,ZooKeeper、HDFS、YARN与Hive的新增节点无法使用,未避免影响业务开展,请在扩容后尽快进行配置生效操作。
- 对ZooKeeper、HDFS、YARN、Hive集群服务进行master扩容后,相关联的集群服务可能被影响,请参考Master扩容-服务配置修改建议进行操作,避免影响数据业务。