对比传统部署模式,GPU云主机配合弹性伸缩使用,可以帮助您在推理任务高峰期自动扩容GPU节点减少卡顿,在任务请求低峰期减少GPU服务器规模节约成本,保障业务连续性的同时降低资源、运维成本。
操作步骤
1.使用大模型镜像创建包年包月的云主机实例
创建一定数量的包年包月GPU实例,用于后续将实例添加到伸缩组,满足大模型业务模块的非高峰或低谷时间段要求。
a. 登录控制中心。
b. 根据业务部署需求选择弹性伸缩组及其管理的云主机实例所在地域。
c. 单击“计算>弹性云主机”,进入弹性云主机管理控制台。
d. 在右上角点击“创建云主机”按钮,进入到弹性云主机创建页面。
e. 在弹性云主机创建页面,完成云主机参数配置。创建成功之后如图:
说明搭建DeepSeek等大模型云主机选型、部署等说明可参考GPU云主机/弹性云主机:零基础搭建DeepSeek云端环境指南-弹性云主机-DeepSeek专题-实践指南:DeepSeek驱动高效能云生态 - 天翼云。
2.创建使用大模型镜像的伸缩配置
为业务创建可用于自动扩容的云主机模板,即弹性伸缩配置。
a. 登录控制中心,选择弹性伸缩组所在地域(与前一步骤中创建的GPU云主机需保持一致)。
b. 单击“计算>弹性伸缩服务”,进入弹性伸缩管理控制台并切换到伸缩配置页面。
c. 点击右上角“创建伸缩配置”,进入“创建伸缩”配置页面。使用步骤1中创建的实例作为模板创建伸缩配置。
d. 点击“确认”,即可创建伸缩配置成功,创建成功如图所示:
3.创建伸缩组并添加云主机实例
为低成本、高稳定性业务集群创建弹性伸缩组,并将创建好的云主机实例添加至此伸缩组内,来满足日常业务的需求。
a. 登录控制中心,选择弹性伸缩组所在地域(与前一步骤中创建的GPU云主机需保持一致)。
b. 单击“计算>弹性伸缩服务”,进入弹性伸缩管理控制台。
c. 在“弹性伸缩组”页签中,点击右上角“创建弹性伸缩组”,进入“创建弹性伸缩组>伸缩参数”配置页面。
d. 在“伸缩参数”页面完成基础配置,具体参数配置可参见创建伸缩组。
e. 在“配置来源”页面,选择已有配置,为伸缩组绑定一个或多个配置。
f. 点击“立即创建”伸缩组创建成功,如下图:
g. 伸缩组创建成功之后,进入到伸缩组详情页面,将步骤1中创建包年包月弹性云主机添加至伸缩组内并开启伸缩保护防止实例被移除,用于日常业务需求的满足。具体操作步骤请参见将实例移入伸缩组。添加成功之后如图:
4.根据业务场景为伸缩组设置自动伸缩策略
为已创建好的伸缩组设置伸缩策略,来满足突发的业务流量变化,确保业务的稳定运行。
a. 进入弹性伸缩管理控制台,点击步骤3创建好的伸缩组名称,进入到伸缩组详情页面。
b. 单击“伸缩策略”进入伸缩策略页签,单击“创建策略”按钮,进入到“创建伸缩策略”页面。
c. 在“创建伸缩策略”页面中完成策略的配置。您可以根据使用场景选择告警、定时等自动伸缩策略,帮助伸缩组在业务高峰期自动扩容大模型实例、在业务低谷期自动释放实例,保证业务稳定的同时最大程度的优化资源使用成本。具体操作步骤可参见创建伸缩策略。