本指南详细介绍了基于物理机Galaxy镜像在NVIDIA-GPU的单机部署流程，区别于传统DeepSeek部署方式依赖于手动编写配置脚本并拉起服务，本指南方案优化了部署架构，取消模型软链接设计，并采用Apptainer Instance代替tmux实现更稳健的进程管理。

一、环境准备

1.1 镜像要求

选择以下两种基础镜像之一进行部署：

①Galaxy-Master 镜像（管理节点专用）：CentOS-7.9@GalaxyMaster-GPU

②Galaxy-Compute 镜像（计算节点专用）：CentOS-7.9@GalaxyCompute-GPU

1.2 存储配置

1.2.1 磁盘挂载

执行以下操作完成NVMe磁盘挂载：

# 查看磁盘分区状态
lsblk
# 典型输出示例
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
nvme0n1            259:1    0   2.9T  0 disk 
nvme1n1            259:0    0   2.9T  0 disk 
# 实施挂载操作（需配置/etc/fstab实现持久化）
mkdir -p /work /data
mount /dev/nvme0n1 /work
mount /dev/nvme1n1 /data

存储规划：

挂载点    用途说明    容量规格
/work    应用软件及脚本存储    2.9TB
/data    模型文件存储    2.9TB

1.3 软件部署

1.3.1 获取部署包

cd /work

wget https://jiangsu-10.zos.ctyun.cn/galaxy/deployment/deepseek-nv-1node-v20250329.tar

tar xvf deepseek-nv-1node-v20250329.tar

1.3.2 更新vLLM组件

cd /work/vllm
rm -f vllm-openai_v0.8.1.sif  # 清理演示文件

wget https://jiangsu-10.zos.ctyun.cn/galaxy/apptainer/vllm/vllm-openai_v0.8.1.sif

1.4 模型准备

通过以下渠道获取模型文件：

ModelScope：DeepSeek-R1-Distill-Llama-70B · 模型库

模型存放路径：/data/hfcache/DeepSeek-R1-Distill-Llama-70B

目录结构示例：

├── config.json
├── model-00001-of-000017.safetensors
├── ...
└── tokenizer_config.json

二、服务管理

2.1 服务配置

编辑部署脚本/work/vllm/run_deepseek.sh，配置关键参数：

export MODEL_DIR=/data/hfcache/DeepSeek-R1-Distill-Llama-70B
export MODEL_NAME=DeepSeek-R1-Distill-Llama-70B

安全认证配置：

export VLLM_API_KEY="your_secure_password"  # 需替换为高强度密钥

2.2 DeepSeek服务启动

启动服务：sh /work/vllm/run_deepseek.sh

成功提示: INFO:    instance started successfully

2.3 查看DeepSeek状态

状态查看：apptainer instance list

输出示例：

INSTANCE NAME    PID      IP    IMAGE
app-vllm         85419          /work/vllm/vllm-openai_v0.8.1.sif

2.4 DeepSeek服务停止

停止服务：apptainer instance stop app-vllm

成功提示: INFO: Stopping app-vllm instance of /home/deploy/vllm/vllm-openai_v0.8.1.sif (PID=85419)