节点
MRS集群中每个节点即为一台云服务器,节点类型及节点功能如下所示。
节点类型 | 功能 |
---|---|
Master节点 | MRS集群管理节点,负责管理和监控集群。在MRS管理控制台选择“集群列表>现有集群”,选中一个运行中的集群并单击集群名,进入集群信息页面。在“节点管理”中查看节点名称,名称中包含“master1”的节点为Master1节点,名称中包含“master2”的节点为Master2节点。 Master节点可以通过弹性云服务器界面的VNC方式登录,也可以通过SSH方式登录,并且Master节点可以免密码登录到Core节点。 系统自动将Master节点标记为主备管理节点,并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 |
Core节点 | MRS集群工作节点,负责处理和分析数据,并存储过程数据。 |
Task节点 | 计算节点,用于弹性伸缩,集群计算资源不足时扩容至集群中。 |
Flink
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。
Flume
Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。其中Flume-NG是Flume 的一个分支,其目的是要明显简单,体积更小,更容易部署。
Hudi
Hudi是数据湖的文件组织层,对Parquet格式文件进行管理提供数据湖能力,支持多种计算引擎,提供IUD接口,在 HDFS的数据集上提供了插入更新和增量拉取的流原语。
资源池
ModelArts提供的大规模计算集群,可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种,分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买,专属使用,不与其他用户共享。
Hue
Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等,它承载了与所有MRS大数据组件交互的应用。
Kafka
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
Spark
Spark是一个开源的,并行数据处理框架,能够帮助用户简单的开发快速,统一的大数据应用,对数据进行离线处理,流式处理,交互式分析等等。