searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

组件自动化部署场景下资源最优化分配技术探讨

2023-04-25 01:32:34
3
0
  1. 背景:

目前,企业应用数字化转型和云化改造已成为规模化发展趋势。在应用云化改造过程中,应用往往会采用分布式数据库、分布式消息、分布式缓存等诸多分布式PaaS组件来构建企业应用运行环境,而这类分布式PaaS组件技术门槛高、人工部署周期长,因此组件自动化安装部署技术成为一个主流选项。

  1. 分析:

在企业私有云场景,资源池主机资源有限且存在物理机/裸金属/云主机等组件混部情况,在进行PaaS组件自动化部署时,如果所分配的主机资源不够合理,则往往会导致主机资源分配不均匀、部分机器负载过高,而另一部分主机负载低资源利用率低下,影响资源利用效率和应用系统运行稳定性等问题。因此,我们需要探讨资源分配的合理算法,实现PaaS组件在资源池的均匀分布,在提高主机资源利用效率的同时,提升应用系统运行稳定性。

为了实现PaaS组件部署资源的均匀分布,这里我们在资源分配时可以讨论一种采用最小方差算法:

       如:需要自动化部署一主两备的分布式数据库集群(3*8C16G)那么:

       首先:我们从资源池进行可用机器范围的筛选:根据请求的集群资源和数量,获得每台机器需要占用的资源(CPU、内存等)总和,筛选出能够同时满足不同种类资源请求的机器。

       其次:计算上述机器范围内每台机器可能部署分布式数据库集群后的资源平均使用率:设共有台机器,共有种资源,每台机器的某种资源使用率为,计算第种资源的使用率平均值:

         

       然后,计算当前资源池下每台机器中的资源使用率的方差:根据上述计算的资源使用率平均值,对第种资源先计算资源使用率的方差:

       根据上述计算,能获取一组资源使用率的方差值,我们可以考虑根据资源进行优先级排序,获取最高优先级资源的最小方差值。根据该最小方差值所在的主机资源分配方案,作为本次数据库集群部署时的最优机器资源分配方案。

       通过上面方法,我们可以在一定程度上实现组件部署的资源合理分配和均匀分布。

  1. 结尾:

在企业私有云生产环境中,特别是在物理机/裸金属/云主机混部组件场景下,我们在自动化部署组件包括组件集群时,往往采用随机方式分配空闲的可用机器进行部署,这种方式经常会造成资源利用率不均匀,要不有的机器负载过高,要不有的机器负载过低。因此,通过上述方法,可以在一定程度上实现生产环境组件均匀合理分布,提高主机利用率,降低企业上云成本,提高企业应用稳定性和弹性扩展能力。

当然,这里面还涉及很多因素需要进一步思考,此处抛出该话题,希望能群策群力,共同构建一个更合理的数学模型,实现云资源的合理利用。

0条评论
作者已关闭评论
邓****强
8文章数
0粉丝数
邓****强
8 文章 | 0 粉丝
原创

组件自动化部署场景下资源最优化分配技术探讨

2023-04-25 01:32:34
3
0
  1. 背景:

目前,企业应用数字化转型和云化改造已成为规模化发展趋势。在应用云化改造过程中,应用往往会采用分布式数据库、分布式消息、分布式缓存等诸多分布式PaaS组件来构建企业应用运行环境,而这类分布式PaaS组件技术门槛高、人工部署周期长,因此组件自动化安装部署技术成为一个主流选项。

  1. 分析:

在企业私有云场景,资源池主机资源有限且存在物理机/裸金属/云主机等组件混部情况,在进行PaaS组件自动化部署时,如果所分配的主机资源不够合理,则往往会导致主机资源分配不均匀、部分机器负载过高,而另一部分主机负载低资源利用率低下,影响资源利用效率和应用系统运行稳定性等问题。因此,我们需要探讨资源分配的合理算法,实现PaaS组件在资源池的均匀分布,在提高主机资源利用效率的同时,提升应用系统运行稳定性。

为了实现PaaS组件部署资源的均匀分布,这里我们在资源分配时可以讨论一种采用最小方差算法:

       如:需要自动化部署一主两备的分布式数据库集群(3*8C16G)那么:

       首先:我们从资源池进行可用机器范围的筛选:根据请求的集群资源和数量,获得每台机器需要占用的资源(CPU、内存等)总和,筛选出能够同时满足不同种类资源请求的机器。

       其次:计算上述机器范围内每台机器可能部署分布式数据库集群后的资源平均使用率:设共有台机器,共有种资源,每台机器的某种资源使用率为,计算第种资源的使用率平均值:

         

       然后,计算当前资源池下每台机器中的资源使用率的方差:根据上述计算的资源使用率平均值,对第种资源先计算资源使用率的方差:

       根据上述计算,能获取一组资源使用率的方差值,我们可以考虑根据资源进行优先级排序,获取最高优先级资源的最小方差值。根据该最小方差值所在的主机资源分配方案,作为本次数据库集群部署时的最优机器资源分配方案。

       通过上面方法,我们可以在一定程度上实现组件部署的资源合理分配和均匀分布。

  1. 结尾:

在企业私有云生产环境中,特别是在物理机/裸金属/云主机混部组件场景下,我们在自动化部署组件包括组件集群时,往往采用随机方式分配空闲的可用机器进行部署,这种方式经常会造成资源利用率不均匀,要不有的机器负载过高,要不有的机器负载过低。因此,通过上述方法,可以在一定程度上实现生产环境组件均匀合理分布,提高主机利用率,降低企业上云成本,提高企业应用稳定性和弹性扩展能力。

当然,这里面还涉及很多因素需要进一步思考,此处抛出该话题,希望能群策群力,共同构建一个更合理的数学模型,实现云资源的合理利用。

文章来自个人专栏
解构分布式应用架构
8 文章 | 1 订阅
0条评论
作者已关闭评论
作者已关闭评论
0
0