什么是DeepSeek?
DeepSeek 是一个基于 Transformer 架构的大型语言模型(LLM),由深度求索(DeepSeek)公司开发。它能够处理自然语言理解、生成、翻译、问答等多种任务。在目前大模型主流榜单中,DeepSeek-V3 在开源模型中位列榜首,与世界上最先进的闭源模型不分伯仲。
当前 DeepSeek 模型有多个版本,参数量从 1.5B、70B到671B不等,适用于不同的应用场景和计算资源。参数量越多,资源消耗越多,推理结果越有效。使用者可以根据自己实际需求选择不同模型版本。
注意
为维护良好的网络环境和公共秩序,禁止任何用户或机构利用天翼云平台从事违法活动、传播不良信息或实施违反社会公序良俗的行为。若发生此类行为,天翼云将依法采取必要措施,停止相关服务功能,并依法追究责任。
模型由DeepSeek公司提供,模型的结果仅供参考,并可能因不同的环境、数据或操作条件而有所不同,我们不对模型的任何结果负责。
什么是Ollama?
Ollama是一个开源的LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低大语言模型的使用门槛,使得不同水平的使用者均能在本地环境快速实验、管理和部署模型。它不仅仅提供了现成的模型和工具集,还提供了方便的界面和 API,使得从文本生成、对话系统到语义分析等任务都能快速实现。
快速体验DeepSeek
本节以DeepSeek-r1-7b模型为例,讲解如何基于OceanFS天翼云使用Ollama运行 DeepSeek模型,读者可以根据自己实际需求选用模型和云主机配置。
步骤一:创建GPU云主机
点击天翼云门户首页的“控制中心”,输入登录的用户名和密码,进入控制中心页面。
单击“弹性云主机”,进入主机列表页。
右上角单击“创建云主机”,进入弹性云主机创建页。
进行基础配置。
根据业务需求配置“计费模式”、“地域”、“企业项目”、“虚拟私有云”、“实例名称”、“主机名称”等。
选择规格。此处选择"CPU架构"为"X86"、"分类"为"GPU型"、"规格族"为"GPU计算加速型pi7"、"规格"为"pi7.4xlarge.4"。
选择镜像。“镜像类型”选择“镜像市场”,在云镜像市场中选择预置了DeepSeek R1模型的DeepSeek-R1-7B-Ubuntu22.04镜像。
注意
本镜像推荐配置:内存≥8G、显存≥16G。
目前也提供了预装DeepSeek-R1-70B模型的镜像,如您有需求,也可在云镜像市场中进行选择。
设置云盘类型和大小。选择基础配置即可。
网络高级配置。设置网络,包括"网卡"、"安全组",同时配备 "弹性IP" 用于下载和访问模型;设置高级配置,包括"登录方式"、"云主机组"、"用户数据"。
确认并支付。返回云主机控制台等待云主机创建,一般需要1~3分钟。
步骤二:创建OceanFS文件系统并挂载至GPU云主机
返回“控制中心”,在“存储”下单击“海量文件服务(OceanFS)”,进入文件系统列表页面。
右上角单击“创建OceanFS实例”,进入创建文件系统页面。
进行基础配置,各参数含义参考创建文件系统-海量文件服务 OceanFS。
注意
文件系统和云主机应选择同一VPC,否则无法挂载。
点击“下一步”确认配置。确认无误后点击“立即购买”,确认订单并支付。
返回OceanFS控制台,等待文件系统创建完成。
参考挂载NFS文件系统到弹性云主机 (Linux)将文件系统挂载至GPU云主机的“/mnt/test”目录下。
说明
“/mnt/test”可以根据实际需求替换为实际的挂载目录。
步骤三:部署DeepSeek模型
修改模型下载路径,将模型保存在OceanFS的挂载目录下。
在“/mnt/test”目录下创建模型下载新目录“/mnt/test/models”,并配置访问权限777。依次执行以下两条命令:
mkdir /mnt/test/models chmod 777 /mnt/test/models
执行以下命令修改ollama.service配置,添加
Environment="0LLAMA_MODELS=/mnt/test/models
语句来更改模型保存位置。vim /etc/systemd/system/ollama.service
依次执行以下命令,重启Ollama服务。
systemctl daemon-reload systemctl restart ollama.service
加载DeepSeek模型。
以deepseek-r1:7b为例,执行以下命令:
ollama run deepseek-r1:7b
检查下载的模型保存在OceanFS的目录下。执行
ll
命令:
使用DeepSeek模型。
在命令行界面使用模型。
通过Web页面进行模型交互。
注意
镜像自带的 ollama 工具监听 127.0.0.1:11434、webui 监听 0.0.0.0:3000 端口,云主机默认不对外开放任何端口访问,请按需开放端口访问规则,避免数据泄露。
使用此方式需要开通弹性IP,弹性IP是计费服务,详见计费概述-弹性IP-计费说明 - 天翼云。
放行云主机安全组的 3000 端口。具体操作请参考添加安全组规则-弹性云主机-用户指南-安全-安全组-配置安全组规则 - 天翼云。
访问DeepSeek模型的可视化界面。登录地址为:http://{公网ip地址}:3000。
注意
云主机全自动安装DeepSeek模型和可视化界面,请等待云主机启动 5 分钟后,再访问登录界面。
首次登录页面如下:
注册管理员账号。
使用设置。刷新进入首页,在模型下拉列表中,选择刚部署的DeepSeek:7b 模型。
点击左下角进入设置页面,如果您不想开放其他用户注册使用,则需要关闭 “允许用户注册” 功能。
如果您允许用户注册,还可以设置用户注册之后的行为,例如选择新用户注册后默认用户角色为“用户”/“待激活” 等,需要管理员手动激活。
设置模型可见性。多用户模式下,建议把模型设置为"Public"。
使用DeepSeek模型进行模型推理。
自定义部署DeepSeek
天翼云镜像站也为常见镜像提供了加速能力,包括1.5B\7B\14B\70B\671B 等相关模型,可以通过自定义部署体验其他模型。
步骤一:规格选型
不同版本的模型参数量不同,参数量越多,资源消耗越多。不同规模的企业、客户有不同诉求,客户可根据自己的实际需求,选择所需镜像和模型版本。参数较少的DeepSeek模型可以在CPU上正常运行、如1.5B、7B模型,更大的模型需要GPU才能获得良好的体验。天翼云提供了不同模型的硬件配置建议,如下:
模型 | 推荐显卡数 | ||||
T4 | V100 | V100S | A10 | A100 | |
DeepSeek-R1-1.5B | 1卡16G(1*16G) | 1卡32G(1*32G) | 1卡32G(1*32G) | 1卡24G(1*24G) | 1卡40G(1*40G) |
DeepSeek-R1-7B | 2卡32G(2*16G) | 1卡32G(1*32G) | 1卡32G(1*32G) | 1卡24G(1*24G) | 1卡40G(1*40G) |
DeepSeek-R1-8B | 2卡32G(2*16G) | 1卡32G(1*32G) | 1卡32G(1*32G) | 1卡24G(1*24G) | 1卡40G(1*40G) |
DeepSeek-R1-14B | 4卡64G(4*16G) | 2卡64G(2*32G) | 2卡64G(2*32G) | 2卡48G(2*24G) | 2卡80G(2*40G) |
DeepSeek-R1-32B | - | 4卡128G(4*32G) | 4卡128G(4*32G) | 4卡96G(4*24G) | 4卡160G(4*40G) |
DeepSeek-R1-70B | - | - | - | - | 4卡160G(4*40G) |
对应的GPU云主机规格请参见NVIDIA GPU云主机-GPU云主机-产品简介-产品规格 - 天翼云。
步骤二:云主机开通
创建配备GPU驱动的GPU云主机(Linux)-GPU云主机-用户指南-创建GPU云主机 - 天翼云。
步骤三:创建OceanFS文件系统并挂载至GPU云主机
步骤三:手动部署DeepSeek
安装Ollama。
参考在天翼云使用Ollama运行DeepSeek的最佳实践-7B等版本-弹性云主机-自定义部署DeepSeek-步骤三。
在模型下载之后修改模型保存位置。
运行DeepSeek模型。