什么是DeepSeek
DeepSeek 是一个基于 Transformer 架构的大型语言模型（LLM），由深度求索（DeepSeek）公司开发。它能够处理自然语言理解、生成、翻译、问答等多种任务。在目前大模型主流榜单中，DeepSeek-V3 在开源模型中位列榜首，与世界上最先进的闭源模型不分伯仲。在对话模型典型任务方面的评测效果如下：
当前 DeepSeek 模型有多个版本，参数量从 1.5B、 70B到671B不等，适用于不同的应用场景和计算资源。参数量越多，资源消耗越多，使用者可以根据自己实际需求选择不同模型版本。
注意为维护良好的网络环境和公共秩序，天翼云平台特规定如下使用条款：禁止任何用户或机构利用平台进行违法活动、传播不良信息或违反社会公序良俗的行为。若发生此类行为，天翼云将依法采取必要措施，停止相关服务功能，并依法追究责任。
模型由DeepSeek公司提供。模型的结果仅供参考，并可能因不同的环境、数据或操作条件而有所不同，我们不对模型的任何结果负责。
快速体验DeepSeek
vLLM 是一个专为本地运行大语言模型（LLMs）而设计的工具，并提供了简单易用的命令行接口。这里，我们以Deepseek-R1-32B模型为例，讲解如何在天翼云使用vLLM运行 DeepSeek模型，读者可以根据自己实际需求修改云主机模型和云主机配置。
步骤一：创建GPU云主机
1. 进入创建云主机页面
点击天翼云门户首页的“控制中心”，输入登录的用户名和密码，进入控制中心页面。
单击“服务列表>弹性云主机”，进入主机列表页。
单击“创建云主机”，进入弹性云主机创建页。
2. 进行基础配置
基础配置：根据业务需求配置“计费模式”、“地域”、“企业项目”、“虚拟私有云”、“实例名称”、“主机名称”等。
选择规格：此处选择"CPU架构"为"X86"、"分类"为"GPU型"、"规格族"为"GPU计算加速型pn8r"、"规格"为"pn8r.16xlarge.4"。
选择镜像：“镜像类型”选择“镜像市场”，在云镜像市场中选择预置了DeepSeek R1模型的DeepSeek-R1-32B-vLLM-Ubuntu22.04镜像。
设置系统盘：
3. 网络及高级配置。
设置网络，包括"网卡"、"安全组"，同时配备 "弹性IP" 用于访问模型；设置高级配置，包括"登录方式"、"云主机组"、"用户数据"。
4. 确认并支付
步骤二：使用DeepSeek模型
通过云主机提供的Open WebUI直接体验大模型，具体请参考Open WebUI快速入门。
注意镜像自带的ollama工具监听127.0.0.1:11434 、webui 监听 0.0.0.0:3000 端口，云主机默认不对外开放任何端口访问，请按需开放端口访问规则，避免数据泄露。
自定义部署DeepSeek
步骤一：规格选型
不同版本的模型参数量不同，参数量越多，资源消耗越多。不同规模的企业、客户有不同诉求，客户可根据自己的实际需求，选择所需镜像和模型版本。参数较少的DeepSeek模型可以在CPU上正常运行、如1.5B、7B模型，更大的模型需要GPU才能获得良好的体验。天翼云提供了不同模型的硬件配置建议，如下：
模型 推荐规格 通用云主机 T4 V100 V100S A10 A100 DeepSeek-R1-1.5B c7.2xlarge.2 pi2.2xlarge.4 p2v.2xlarge.4 p2vs.2xlarge.4 pi7.4xlarge.4 p8a.6xlarge.4 DeepSeek-R1-7B c7.4xlarge.2 pi2.4xlarge.4 p2v.2xlarge.4 p2vs.2xlarge.4 pi7.4xlarge.4 p8a.6xlarge.4 DeepSeek-R1-8B - pi2.4xlarge.4 p2v.2xlarge.4 p2vs.2xlarge.4 pi7.4xlarge.4 p8a.6xlarge.4 DeepSeek-R1-14B - pi2.8xlarge.4 p2v.4xlarge.4 p2vs.4xlarge.4 pi7.8xlarge.4 p8a.12xlarge.4 DeepSeek-R1-32B - - p2v.8xlarge.4 p2vs.8xlarge.4 pi7.16xlarge.4 p8a.24xlarge.4 DeepSeek-R1-70B - - - - - p8a.24xlarge.4
对应的GPU云主机规格请参见NVIDIA GPU云主机-GPU云主机-产品简介-产品规格 - 天翼云。
步骤二：云主机开通
创建配备GPU驱动的GPU云主机（Linux）-GPU云主机-用户指南-创建GPU云主机 - 天翼云
步骤三：手动部署DeepSeek
建议使用天翼云提供的DeepSeek镜像，减少安装过程中可能遇到的问题。如您必须通过vLLM部署模型，请参考如下步骤：
1.安装依赖包
# 安装pip
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py
# 修改pip镜像源，以清华源为例
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 安装依赖包
pip install modelscope==1.22.3
pip install openai==1.61.0
pip install tqdm==4.67.1
pip install transformers==4.48.2
pip install vllm==0.7.1
pip install jinja2==3.1.0
2.下载模型
为了方便，我们以较小的DeepSeek-R1-Distill-Qwen-1.5B为例（3.5G左右），将以下内容保存为 model_download.py 文件，参数 cache_dir 为模型的下载路径，您可以按需修改，需确保存储空间足够存放模型。
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B', cache_dir='/root/model-path', revision='master')
运行该文件，启动模型下载。
python model_download.py
3.运行模型
完成下载后，即可使用 vLLM 运行模型。
vllm serve /root/model-path/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --served-model-name DeepSeek-R1-Distill-Qwen-1.5B --max-model-len=2048 --api-key my-token --port=8000
注意其中 --api-key 参数用于模型 api 调用时认证动作，可按需修改值。
4.使用WebUI访问模型
基于我们已经安装、配置好的 OpenWebUI页面，可以直接访问模型。
管理员设置中，配置OpenAI API访问地址，密钥就是上文中的 --api-key。
选择对应的模型，直接进行问答体验。
FAQ
如何修改 vLLM 的api-key？
服务的配置文件目录在 /var/vllm_service.env 我们将API_KEY 设置为想要的值。
然后重启服务。
systemctl restart vllm
如何调整模型支持的最大上下文数量？
当前vLLM服务使用systemd部署，需修改service启动命令以实现上下文等服务参数调整。配置文件位于 /etc/systemd/system/vllm.service，我们编辑该文件的 --max-model-len 参数，然后重启服务即可实现参数调整
重新启动服务
systemctl daemon-reload
systemctl restart vllm
