在这篇文章中,我们将介绍如何在SCE集群上快速部署FastChat应用。您可以选择使用控制台或kubectl来完成应用部署,随后即可通过外部端点访问FastChat。
前提条件
已开通SCE集群,并且能通过公网访问集群。
背景信息
SCE兼容原生Kubernetes语义和API,您可以在SCE集群中轻松创建Deployment、StatefulSet、Service、Ingress、PersistentVolume、ConfigMap或CRD等资源。此外,您也可以使用Helm部部署和管理复杂的Kubernetes应用程序的生命周期。
FastChat介绍
FastChat是一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台。其核心功能包括:最先进模型的权重、训练代码和评估代码(例如Vicuna、FastChat-T5);基于分布式多模型的服务系统,具有Web界面和与OpenAI兼容的RESTful API。
操作步骤
创建FastChat应用
您可以通过控制台部署FastChat应用,也可以通过kubectl工具连接sce集群来创建FastChat应用。
- 登录管理控制台,在左侧菜单栏选择“集群”。
- 在集群列表页面,选择目标集群名称,然后在左侧菜单栏,选择“工作负载 ”下的“无状态”,选择“创建Deployment”。
- 在创建Deployment页面,填写Deployment名称、副本数量等。
- 在实例内容器项填写容器名称、镜像、镜像版本、cpu/内存限制等。
注意fastchat镜像要提前上传到CRS容器镜像服务,点击选择镜像选择fastchat镜像即可。
- 在实例内容器项内点击“显示高级设置”,添加启动执行命令。
- 开启“容器健康检查”,勾选“就绪检查”。
- 在访问设置项,点击“开启service”,设置服务相关参数,通过该服务公开fastchat应用。
注意需要提前手工创建ELB。
- 点击“提交”,返回到如下页面表示创建成功,等待deployment的副本pod运行起来即可。
访问服务
1、登录管理控制台,在左侧菜单栏选择“集群”。
2、在集群列表页面,选择目标集群名称,然后在左侧菜单栏,选择“网络”下的服务“服务”。
3、在访问方式看到可以通过集群内访问或者集群外访问。