前提条件
部署分布式推理服务需要的镜像、数据已准备就绪。
操作步骤
- 登录智能计算控制台，在左侧导航栏单击【推理】->【分布式推理】，点击【创建服务】按钮。
- 进入创建页面后，请根据页面提示，完成以下配置。
基础信息
填写推理服务的名称与描述。
- 服务名称 ： 4-63个字符，只能包含小写字母、数字及分隔符'-'(分隔符不能连续出现)，且需以小写字母开头，数字或小写字母结尾。
- 描述（可选） ： 上限 128个 字符。
资源配置
- 服务分布：根据推理服务要求，选择合适的算力资源池、GPU 算力规格和实例数量。
- 镜像：配置服务的镜像，支持使用我的镜像（自定义镜像）或填写第三方镜像地址（私有仓库需提供授权）。
- 启动命令（可选）：配置服务的启动命令。
- 环境变量（可选）：配置服务的环境变量。
- 滚动升级：配置服务最大不可用百分比，该参数仅影响服务升级。采用逐步用新版本实例替换旧版本实例的升级方式，请求会均衡分布到新旧版本实例上。
- 端口配置：配置调用端口（默认 8000）、本地监听端口（默认 8000）以及协议信息（http）。使用80、8080、443、8443敏感调用端口时，需先备案，再联系运营人员启用端口。
权限配置
- 可见范围：创建的服务是否在项目空间内可见
完成以上配置，并勾选协议提交订单后，推理服务进入创建中状态后，将会执行一系列耗时的子操作，页面返回列表页。如果状态长期停留在创建中状态，建议查看详情中的服务列表。
