本文先简要介绍DeepSeek,随后详述如何快速体验在NVIDIA GPU物理机中运行deepseek-r1-7b模型,最后介绍自定义部署DeepSeek模型的方法。
一、DeepSeek简介
DeepSeek是由中国顶尖AI团队深度求索(DeepSeek Inc.)自主研发的通用大语言模型体系。DeepSeek系列涵盖从7B到超千亿参数的完整模型矩阵,在数学推理、代码生成、多轮对话等核心能力上达到国际领先水平。目前已衍生出deepseek-v2、deepseek-v3、deepseek-r1等多个版本,广泛应用于智能客服、教育辅助、金融分析等垂直领域。
2025年1月20日发布的deepseek-r1,在数学、代码、自然语言推理等任务上,性能比肩 OpenAI o1 正式版。
deepseek-r1模型参数量为671B,通过 deepseek-r1的输出,蒸馏了 6 个参数量较小的模型(1.5B、7B、8B、14B、32B、70B),其中32B和70B模型在多项能力上实现了对标 OpenAI o1-mini 的效果。
二、物理机快速部署DeepSeek
DeepSeek镜像集成了ollama服务、deepseek-r1模型、web可视化界面以及相关组件。用户可通过DeepSeek镜像创建GPU物理机快速部署DeepSeek。
💡Ollama 是一个开源的大型语言模型(LLM)平台,旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。
2.1 创建GPU物理机
2.1.1 进入创建物理机页面
a. 点击天翼云门户首页的“控制中心”,输入登录的用户名和密码,进入控制中心页面。
b. 单击“产品服务列表 > 物理机服务”,进入主机列表页。
c. 单击“创建物理机”,进入物理机创建页。
2.1.2 基础配置
a. 根据业务需求配置“计费模式”、“地域”、“可用区”、“实例名称”、“主机名称”等。
b. 选择规格。此处选择"GPU型"、"规格名称为"physical.h7ns.3xlarge21"。(推荐使用H800、A800、L40S资源类型的物理机规格)
c. 选择镜像:镜像类型为“公共镜像”,选择Ubuntu类镜像,镜像名为“Ubuntu 22.04@deepseek-r1-7b 64位”。
d. 磁盘配置:设置本地磁盘Raid类型,系统盘设置为“RAID1”,数据盘设置为“NORAID”,本规格不支持添加云盘,创建其他规格的物理机时可根据需要添加云盘。
2.1.3 网络配置及高级配置
a. 网络配置,包括“虚拟私有云”、“网卡”,同时配备“弹性IP”用于下载和访问模型。
b. 高级配置,默认用户为root,设置root用户密码并确认密码。
2.1.4 确认配置并支付
检查上述配置,设置“购买数量”,“企业项目”,“确认《天翼云物理机服务协议》”。
2.2 使用DeepSeek模型
2.2.1 通过web界面进行模型交互
a. DeepSeek模型可视化界面访问地址为:http://{公网ip地址}:3000。
“Ubuntu 22.04@deepseek-r1-7b 64位”镜像的防火墙已放行3000端口访问。
❗注意:物理机全自动安装deepseek-r1模型和可视化界面,请等待物理机启动 5 分钟后,再访问登录界面。
首次登录页面如下:
b. 注册管理员账号。
c. 使用设置。刷新进入首页,在模型下拉列表中,选择刚部署的deepseek-r1:7b 模型。
点击左下角进入设置页面,如果您不想开放其他用户注册使用,则需要关闭 “允许用户注册” 功能。
如果您允许用户注册,还可以设置用户注册之后的行为,例如选择新用户注册后默认用户角色为“用户”/“待激活” 等,需要管理员手动激活。
d. 设置模型可见性。多用户模式下,建议把模型设置为“Public”。
e. 体验deepseek-r1:7b模型推理功能。
2.2.2 通过命令行交互
a. 利用ollama运行 deepseek-r1:7b模型,等待用户输入。
ollama run deepseek-r1:7b
b. 体验deepseek-r1:7b模型推理功能。
三、自定义部署DeepSeek
本章详细介绍针对deepseek-r1模型在天翼云物理机上的手动部署指南和一键部署指南。
天翼云镜像站提供了ollama安装包和deepseek-r1系列模型(包含1.5B、7B、14B、70B、671B 等相关模型),可加速部署过程。
天翼云镜像站地址:http://mirrors.ctyun.cn
天翼云镜像站ollama软件源地址:http://mirrors.ctyun.cn/ollama
3.1 规格选型
不同参数量的模型的性能和资源消耗不同,企业客户和个人客户可根据需求在天翼云物理机上自定义部署指定参数量的deepseek-r1模型,选择不同的物理机规格。
参数较少的deepseek-r1模型可以在CPU物理机上正常运行、如1.5b、7b模型。
更大的模型需要GPU才能获得良好的体验,推荐使用H800、A800、L40S资源类型的物理机规格。
3.2 使用已有DeepSeek镜像创建物理机部署DeepSeek
使用Ubuntu-22.04@deepseek-r1-7b镜像直接创建NVIDIA-GPU物理机,该镜像已部署ollama和web可视化界面,deepseek-r1:7b模型。
3.2.1 创建物理机
选择NVIDIA-GPU物理机规格(H800、A800、L40S资源类型的规格),选择“Ubuntu 22.04@deepseek-r1-7b 64位”并完成物理机创建。可参考本文“2.1节 创建GPU物理机”。
3.2.2 登录物理机并拉取自定义模型
a. 使用命令行拉取所需模型,以 deepseek-r1:70b为例。
采用ollama官方源部署deepseek-r1:70b(速度较慢):
ollama pull deepseek-r1:70b
采用天翼云镜像站部署deepseek-r1:70b (推荐):
mkdir deepseek-r1-70b
cd deepseek-r1-70b
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-70b/deepseek-r1-70b.gguf
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-70b/ModelFile
ollama create deepseek-r1:70b -f ModelFile
b. 下载完成即可使用deepseek-r1:70b模型,可参考本文“2.2节 使用deepseek模型”。
3.3 使用非DeepSeek镜像创建物理机并手动部署DeepSeek
本节介绍使用非DeepSeek镜像创建CPU物理机或GPU物理机后,在物理机上手动部署ollama、deepseek-r1模型和open-webui可视化界面,并提供一键部署ollama和deepseek-r1模型的方法。
创建物理机-快速入门-物理机:https://www.ctyun.cn/document/10027724/10166147
3.3.1手动部署
本节详细介绍手动部署DeepSeek模型的完整过程,包含下载并部署ollama、下载并部署指定DeepSeek模型。
天翼云镜像站提供了ollama安装包和deepseek-r1系列模型(包含1.5B、7B、14B、70B、671B 等相关模型),可加速部署过程。
3.3.1.1 下载并部署ollama
天翼云镜像站ollama下载地址:http://mirrors.ctyun.cn/ollama
a. 运行以下命令下载并安装 ollama
wget http://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
b. 启动ollama 服务
# 若需要外部访问ollama服务,需使用以下环境变量
export OLLAMA_ORIGINS=*
export OLLAMA_HOST=0.0.0.0
# 启动ollama服务
ollama serve &
3.3.1.2 下载并部署deepseek-r1系列模型
deepseek-r1模型下载地址:http://mirrors.ctyun.cn/ollama/models, 包含1.5B、7B、8B、14B、32B、70B、671B 等相关模型。
天翼云镜像站模型地址 | 对应ollama官方源deepseek-r1模型名称 |
---|---|
deepseek-r1-1-5b/ | deepseek-r1:1.5b |
deepseek-r1-7b/ | deepseek-r1:7b |
deepseek-r1-8b/ | deepseek-r1:8b |
deepseek-r1-14b/ | deepseek-r1:14b |
deepseek-r1-32b/ | deepseek-r1:32b |
deepseek-r1-70b/ | deepseek-r1:70b |
deepseek-r1-671b/ | deepseek-r1:671b |
本节以部署deepseek-r1:7b 为例,可作为部署deepseek-r1:1.5b、deepseek-r1:70b、deepseek-r1:671b等其他模型的参考。
采用ollama官方源部署deepseek-r1:7b(速度较慢):
ollama pull deepseek-r1:7b
采用天翼云镜像站部署deepseek-r1:7b (推荐):
mkdir deepseek-r1-7b
cd deepseek-r1-7b
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-7b/deepseek-r1-7b.gguf
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-7b/ModelFile
ollama create deepseek-r1:7b -f ModelFile
部署完成,查看可用模型:
ollama list
3.3.1.3 运行模型
ollama run deepseek-r1:7b
输入问题,体验deepseek-r1:7b模型推理功能。
3.3.2 一键部署
天翼云镜像站提供一键部署ollama和deepseek-r1模型脚本,客户可根据需要部署不同参数量的deepseek-r1模型,当前仅支持linux环境的一键部署。
3.3.2.1 一键部署ollama和deepseek-r1系列模型
通过https://mirrors.ctyun.cn/ollama/install.sh脚本一键部署ollama和指定模型,环境变量OLLAMA决定是否安装ollama,MODELS指定部署模型:
MODELS: 默认是deepseek-r1:7b。模型支持deepseek-r1:1.5b、deepseek-r1:7b、deepseek-r1:8b、deepseek-r1:14b、deepseek-r1:32b、deepseek-r1:70b、deepseek-r1:671b。
OLLAMA: 默认是no,不安装ollama。yes表示安装ollama。
一键部署deepseek-r1:1.5b模型:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:1.5b OLLAMA=yes bash
一键部署deepseek-r1:7b模型:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:7b OLLAMA=yes bash
一键部署deepseek-r1:8b模型:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:8b OLLAMA=yes bash
一键部署deepseek-r1:14b模型:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:14b OLLAMA=yes bash
一键部署deepseek-r1:32b模型:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:32b OLLAMA=yes bash
一键部署deepseek-r1:70b模型:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:70b OLLAMA=yes bash
一键部署deepseek-r1:671b模型:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:671b OLLAMA=yes bash
3.3.2.2 仅部署deepseek-r1系列模型(ollama已部署)
适用场景:已部署过ollama的,想要部署其他deepseek-r1系列模型。
可设置OLLAMA=no,实现仅部署新的deepseek-r1模型,不重新安装ollama,以deepseek-r1:32b为例,可执行:
curl -fsSL https://mirrors.ctyun.cn/ollama/install.sh |MODELS=deepseek-r1:32b OLLAMA=no bash
3.3.2.3 运行模型
查看已部署模型,可执行:
ollama list
运行指定模型,可执行:
#运行deepseek-r1:1.5b模型
ollama run deepseek-r1:1.5b
#运行deepseek-r1:7b模型
ollama run deepseek-r1:7b
#运行deepseek-r1:8b模型
ollama run deepseek-r1:8b
#运行deepseek-r1:14b模型
ollama run deepseek-r1:14b
#运行deepseek-r1:32b模型
ollama run deepseek-r1:32b
#运行deepseek-r1:70b模型
ollama run deepseek-r1:70b
#运行deepseek-r1:671b模型
ollama run deepseek-r1:671b
3.3.3 安装web可视化界面
a. 安装open-webui
docker pull ghcr.io/open-webui/open-webui:main
b. 启动容器
docker run -d --net=host -e PORT=3000 -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -e
ENABLE_SIGNUP=true -e ENABLE_OPENAI_API=False -v open-webui:/app/backend/data --name
open-webui --restart always ghcr.io/open-webui/open-webui:main
后续使用请参考本文“2.2.1节 通过web界面进行模型交互”。
四、 服务安全配置
为确保模型服务的安全性,建议遵循以下安全配置原则:
a. 关闭不必要的端口
Ollama默认使用11434端口提供API服务,ollama服务默认仅支持本地网络访问:
# 启动ollama服务
ollama serve &
如需外部访问ollama服务,可执行:
# 若需要外部访问ollama服务,需使用以下环境变量
export OLLAMA_ORIGINS=*
export OLLAMA_HOST=0.0.0.0
# 启动ollama服务
ollama serve &
b. 设置访问控制
通过配置安全组或ufw/iptables设置IP白名单,对于必须开放的端口(如open-webui的3000端口),通过防火墙规则限制访问来源IP:
# ufw 限制3000端口访问来源ip
sudo ufw allow from <IP地址> to any port 3000
sudo ufw deny 3000/tcp # 禁用其他ip访问3000端口
sudo ufw reload
# iptables 限制3000端口访问来源ip
sudo iptables -A INPUT -p tcp --dport 3000 -s <IP地址> -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 3000 -j DROP # 禁用其他ip访问3000端口
如需禁用所有公网ip访问open-webui的3000端口,可配置安全组或使用ufw或iptables关闭非必要端口:
# ufw 关闭3000端口
sudo ufw deny 3000/tcp
sudo ufw reload
# iptables 关闭3000端口
sudo iptables -A INPUT -p tcp --dport 3000 -j DROP
c. 身份验证与权限管理
在open-webui中关闭允许用户注册功能(参考“2.2.1节 通过web界面进行模型交互”),并定期审计用户列表。
返回DeepSeek专区导航。