MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离:
- 计算资源
计算资源包括CPU和内存。租户之间不可以相互占用计算资源,私有计算资源独立。
- 存储资源
存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据,私有存储资源独立。
计算资源
计算资源可分为静态服务资源和动态资源:
- 静态服务资源
静态服务资源是集群分配给各个服务的计算资源,每个服务的计算资源总量固定,不与其他服务共享,是静态的。这些服务包括Flume、HBase、HDFS和Yarn。
- 动态资源
动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。
说明
大数据集群为Yarn分配的资源是静态服务资源,可以由Yarn动态分配给任务队列计算使用。
存储资源
存储资源是分布式文件存储服务HDFS中可分配的数据存储空间资源。目录是HDFS存储资源分配的基本单位,租户通过指定HDFS文件系统的目录来获取存储资源。