创建集群
支持用户创建不同的集群类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息。翼MR服务会根据用户选择的集群类型、版本和节点规格,帮助客户自动完成企业级大数据平台的安装部署和参数调优。
翼MR服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式,所创建的翼MR集群资源完全归客户所用。
翼MR集群类型包括数据湖、数据分析、数据服务、云搜索、实时数据流集群
- 数据湖集群:提供更高效、灵活的管理集群,更快地运行大数据的计算引擎,更好地提供数据分析能力。
- 数据分析集群:Apache Doris-开源的MPP架构的OLAP分析引擎,支持亚秒级的数据查询和多表join。
- 数据服务集群:提供更灵活、可靠、高效的数据服务集群。
- 云搜索集群:为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析服务能力。
- 实时数据流集群:提供高效的流式计算、消息队列等组件能力,支持实时数据ETL和日志采集分析的业务需求。
翼MR集群节点类型包括master节点、core节点和task节点
- master节点:集群中的管理节点,保证集群的调度正常进行;主要部署NameNode、ResourceManager、HMaster等进程。集群默认为HA模式,master节点数固定为3。该类型节点支持将master节点配置升级与磁盘扩容,以支持更大集群的管理。
- core节点:集群中的计算及存储节点,主要部署DataNode、NodeManager、HRegionServer等进程。为满足存储数据量或计算量扩展的需求,支持配置升级、节点扩容与磁盘扩容。
- task节点:集群中的纯计算节点,主要负责计算数据,不存储数据,支持配置升级、节点扩容与磁盘扩容。
配置升级
当master或者core节点ECS实例的规格(vCPU和内存)无法满足您的业务需求时,您可以使用配置升级功能提升ECS实例规格。
节点扩容
当core或task节点组内的计算或存储资源无法满足您的业务需求时,您可以使用节点扩容功能增加ECS实例数量。
磁盘扩容
当master、core或task节点的数据存储空间无法满足您的业务需求时,您可以使用磁盘扩容功能增加数据盘的空间。
集群运维管理
翼MR Manager提供资源概览、集群服务、主机、租户与资源、监控与告警、运维与配置等运维管理功能。
- 资源概览:展示该集群下所有主机的CPU、内存、网络等信息,包括CPU使用率、磁盘使用率、内存使用率、网络发送速率等。
- 集群服务:展示当前集群下的所有集群服务,并按组件类型、以列表视图列出,在集群服务列表处支持一键启动所有集群服务、一键停止所有集群服务。
- 主机:默认展示当前集群下的所有主机列表,可查看当前运维平台的所有主机信息。也可以查看主机上的角色实例分配和告警历史信息。
- 租户与资源:以集群服务为维度对LDAP用户、Kerberos安全凭证和YARN队列进行管理。LDAP用户管理展示当前集群下的LDAP用户和用户组等信息;Kerberos安全凭证支持新建Principal、删除Principal,支持Keytab分发与下载,并支持查看Keytab的分发记录;YARN队列管理支持YARN队列新建、编辑与删除,capacity-scheduler.xml的全局属性配置,支持YARN队列的同步生效并支持查看同步生效记录。
- 监控与告警:支持指标查询和告警历史功能。指标查询支持查询角色实例级、主机级的监控指标,支持指标结果的绘图操作,让用户更直观获取监控项变化;告警历史支持按照集群服务级、角色实例级、主机级查询告警内容。
- 运维与配置:支持流水线历史、配置管理、配置历史、配置同步历史。流水线历史展示所有流水线的运行历史记录,以及操作人;配置管理支持查看不同集群服务的配置文件,并进行新增、修改、删除配置等操作;配置历史支持查看配置文件不同版本的配置内容、并支持不同版本之前的内容对比;配置同步历史支持查看不同环境的配置同步历史、配置同步操作人,以及配置同步详情。