背景信息
本文演示如何在智算容器引擎加载 DeepSeek-R1 蒸馏模型。
前提条件
已开通包含GPU节点的Kubernetes集群。
已安装智算套件。
添加GPU节点
说明
若集群已有GPU资源，请忽略。
点击左侧【节点】->【节点池】，点击【创建节点池】。
在规格中可选择【x86计算】或【弹性裸金属服务器】中的【GPU计算加速型】或【GPU型】，节点池创建成功后，进入节点池列表，扩容节点至期望的节点数量。
操作步骤
进入云容器引擎控制台。
点击左侧【集群】进入集群列表。
点击使用的集群名称，进入集群。
点击左侧【工作负载】->【自定义资源】，选择资源浏览器，找到apps/v1/Deployment，选择命名空间，点击新增。
在创建yaml中，填入以下GPU模板信息后点击【创建】。
注意
1.修改对应的镜像仓库地址前缀为对应资源池，可在容器镜像控制台查看，如武汉41，则修改{image_repo}为registry-vpc-crs-wuhan41.cnsp-internal.ctyun.cn。
2. namespace: 要和界面选择的一致。
3.已经支持的资源池有华北2，武汉41，杭州7。
GPU模板
apiVersion: apps/v1
kind: Deployment
metadata:
name: deep-seek
spec:
replicas: 1
selector:
matchLabels:
app: deepseek
template:
metadata:
labels:
app: deepseek
spec:
containers:
- name: deepseek
image: {image_repo}/icce/open-webui-deepseek-r1:7b
# 模型大小 -> gpu显存大小
# 7b -> 16GB
command:
- "bash"
- "-c"
args: ["./backend/start.sh"]
env:
- name: AIOHTTP_CLIENT_TIMEOUT_OPENAI_MODEL_LIST
value: "1"
resources:
requests:
nvidia.com/gpu: 1
limits:
nvidia.com/gpu: 1
查看运行状态：点击左侧【工作负载】->【容器组】，找到任务名为前缀的容器，点击名称，查看日志/监控等信息是否符合预期。
创建服务：点击左侧【网络】->【服务】，选择对应命名空间，点击【创建服务】。
填好后点击右下角【提交】。
在【网络】->【服务】中，找到上一步创建的service外网地址，在浏览器中访问，按照提示操作。
