简介
集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。
静态服务池
静态服务池用来指定服务资源的配置。
在服务级别上,静态服务池对各服务可使用的资源进行统一管理:
- 限制服务使用的资源总量,支持配置Flume、HBase、HDFS和Yarn在部署节点可使用的CPU、I/O和内存总量。
- 实现服务级别的资源隔离,可将集群中的服务与其他服务隔离,使一个服务上的负载对其他服务产生的影响有限。
调度机制
静态服务资源支持基于时间的动态调度机制,可以在不同时间段为服务配置不同的资源量,优化客户业务运行环境,提高集群的效率。
在一个复杂的集群环境中,多种服务共享使用集群资源,但是各服务的资源使用周期可能会有比较大的区别。
例如以下业务场景,对于一个银行客户:
- 在白天HBase查询服务的业务多。
- 在晚上查询服务的业务少而Hive分析服务业务多。
如果只给每个服务设置固定的资源可能会导致:
- 白天查询服务的资源不够用,分析服务的资源空闲。
- 晚上分析服务的资源不够用,查询服务的资源空闲。
集群资源利用率不高,而且服务能力也打了折扣。因此:
- 白天多配置HBase服务资源。
- 晚上多配置Hive服务资源。
这种基于时间的动态调度机制可以更高效的利用资源,运行任务。