前言
随着 DeepSeek 新春爆火,带动又一轮大模型热潮;用户访问量突增导致 DeepSeek 服务器繁忙,卡顿或无响应导致用户体验不佳;如何顺畅的体验使用这些大模型服务成为一个挑战。
本文介绍如何使用天翼云函数计算服务快速部署 DeepSeek-R1 大模型,构建个人私有的 AI 大模型应用;通过 OpenWebUI 页面与 Ollama 运行的本地大模型交互,体验到极致流畅的 DeepSeek 能力。
关键名词
- OpenWebUI 是一个开源可扩展、功能丰富且用户友好的自托管 AI 平台,专为生成式人工智能模型的交互而设计;它支持多种大型语言模型(LLM)运行器,兼容 Ollama 和 OpenAI 兼容的 API;还支持自定义模型创建,集成特定提示词、知识库等;并内置了 RAG 推理引擎;旨在实现完全离线运行。
- Ollama 是一款开源工具(大模型管理工具),旨在简化大型语言模型(LLM)在本地计算机上的运行、部署和交互;它支持多种流行的预训练模型,如 LLaMA 2、Gemma 等;可以有效降低打语音模型的使用门槛,推动 AI 技术的普惠。
- 天翼云函数计算(FAAS)是一项由事件驱动的全托管 Serverless 计算服务,用户无需管理基础设施,只需编写上传代码;由平台负责计算资源与代码运行,并提供高弹性、高可用、安全稳定、免运维、按需付费的云计算服务。FAAS 平台提供 GPU 函数支持一键创建部署大模型应用,帮助用户快速体验最新大模型。
大模型部署难点
大模型的部署面临诸多挑战,这些难点主要集中在硬件资源、数据处理、模型优化、安全性以及实际应用的适配等多个方面。个人用户想部署大模型主要有下列难点:
- 硬件资源成本大:大模型的训练和推理需要强大的硬件支持,通常需要高性能的 GPU/TPU 集群;例如推理时可能需要 A100、H100 等高端 GPU。即使是较小的模型(如1.5B参数),也需要至少4GB显存的GPU和16GB内存。
- 软件环境与配置难:部署需要搭建复杂的软件环境,涉及操作系统、AI 框架等,配置错误可能导致模型无法运行。部署过程中可能遇到依赖环境不兼容或缺失的问题,例如 Python、CUDA 版本不匹配。
- 缺乏中文支持:许多部署工具(如Ollama、Docker)不提供中文支持,进一步增加了模型部署门槛。
- 技术支持不足:本地部署需要掌握一定的专业支持,特别是故障排除和模型优化;依靠个人自查解决问题难度很大,且效率低下。
FAAS平台部署DeepSeek
接下来将分别从平台优势、部署架构、操作步骤等几个方面,为您详细展示如何通过天翼云 FAAS 平台快速部署 DeepSeek 大模型,构建私有的 AI 智能问答应用。
平台优势
- 免运维:FAAS 提供全托管 Serverless 计算服务,无需管理维护基础设施;用户只需要指定GPU资源规格,平台就会置备好计算资源即刻使用;同时 24h 服务的技术支持团队,随时为用户提供专业支持和答疑解惑。
- 低成本:FAAS 平台采用极低的按量计费模式,根据用户实际使用的资源量进行收费;用户不再需要承担高额的 GPU 硬件购买、租用、这就成本,甚至能够以最低的费用使用到最新的 GPU 卡。
- 开箱即用:FAAS 平台开箱即用,省去了复杂的软件环境、操作系统、框架配置等操作;提供多种 AI应用模板、GPU函数模板,帮助用户快速构建部署AI应用和大模型。
- 高弹性:FAAS 平台支持实时弹性伸缩和动态负载均衡,秒级扩缩容能力灵活调度计算资源;保障应用服务稳定高可用,相比于人工扩缩容提效显著。
部署架构
通过应用模板快速创建模型服务,将 OpenWebUI 和 Ollama 以函数的形式部署在 FAAS 平台。
-
OpenWebUI 通过 Http 触发器供用户访问,提供聊天问答等交互。
-
OpenWebUI 和 Ollama 直接通过 Ollama API 进行交互。
-
NAS文件服务管理大模型相关文件供 Ollama 调用,同时也可存储知识库。
操作步骤
下面将详细介绍如何从零到一部署构建DeepSeek大模型的智能问答应用。
注意您需要请交提官网工单申请加入FAAS平台的GPU函数白名单,方可体验后续流程。
1、创建虚拟私有云(VPC)
-
依次进入天翼云“控制中心>网络控制台>虚拟私有云”,点击右上方“创建虚拟私有云”。
-
在创建页面“VPC基本信息”部分,地域选择华东 - 华东1,VPC名称、子网等根据实际需求填写。
-
点击下一步确认配置并创建。
2、创建弹性文件服务(SFS)
创建弹性文件服务SFS Turbo实例,用于存储大模型相关文件,以及私有知识库。
-
依次进入天翼云“控制中心>存储控制台>文件存储>文件系统列表”,点击右上方“创建SFS Turbo实例”。
-
在创建页面,地域选择华东 - 华东1,网络选择我们上一步创建的虚拟私有云实例,协议类型选择NFS,其余字段可以根据实际需求填写。
-
点击下一步确认配置并创建。
3、配置自定义域名
配置自定义域名用于后续应用通过Web访问。
进入天翼云函数计算控制台>高级功能>域名管理”页面创建域名。具体配置规则请参考文档:配置自定义域名
注意当前天翼云函数计算服务可提供试用域名给用户体验试用(不可用于生产正式用途),如有需求请通过天翼云官网提交工单至函数计算平台加白处理。
4、部署DeepSeek-R1模型应用
通过函数计算平台提供的应用模板快速创建大模型应用,并一键部署相关服务。
-
依次进入天翼云“控制中心>函数计算>应用”,点击左上方“创建应用”。
-
创建方式选择应用模板,并找到DeepSeek R1模板,点击“立即创建”。
-
在“基础配置”部分,相关字段可以根据实际需求填写。
-
在“高级配置”部分,地域选择 华东1,VPC和NAS分别选择前面步骤创建的虚拟私有云实例、弹性文件服务SFS Turbo实例,远端目录、函数本地目录等其余字段可以根据实际需求选择填写,然后点击“创建应用”完成操作。
-
应用部署成功后,在函数列表页面可以看到如下3个函数:
- xxx-webui:OpenWebUI 是一个可扩展的、功能丰富、用户友好的自托管 AI 平台,专为完全离线运行而设计。兼容Ollama、OpenAI的API。
- xxx-download:Download函数用于将对应的DeepSeek R1模型下载到NAS,以便后续Ollama快速加载。
- xxx-ollama:Ollama 是一个开源的大型语言模型(LLM)平台,专注于简化大语言模型的本地部署和使用。
5、访问 OpenWebUI 开始对话
待应用和函数部署成功后,回到应用列表页面查看应用;点击应用名称进入详情页,点击“默认环境>环境信息>访问域名”。
然后跳转至Open WebUI界面进行对话:
更多高级玩法
1、开启联网搜索
OpenWebUI支持配置开启联网搜索能力,使用博查Web Search API;操作如下:
-
点击 博查AI开放平台 | Search API, Reranker API 链接在博查 AI 开放平台创建 API KEY。
-
在Open WebUI“管理员设置>联网搜索”配置博查API KEY。
-
回到Open WebUI对话界面,点击开启“联网搜索”。
2、扩展模型知识库
OpenWebUI支持添加文档知识库,提供给大模型学习之后就可以进行知识库答疑;操作如下:
-
在Open WebUI“工作空间>知识库”界面,创建知识库并上传相关文档,例如:
-
回到Open WebUI对话界面,在输入框键入“#”可以选择对应的知识库进行对话:
3、配置预留实例提高应用性能
FAAS 平台支持配置预留实例,通过预先启动模型服务实例,确保用户请求能够立即响应,进而提高大模型应用的响应速度。您只需要进入目标模型函数的详情配置页面,点击“预留实例配置”创建预留实例数策略即可。相关说明请参考文档《预留实例模式》
4、通过云原生网关访问函数
FAAS 平台支持配置云原生网关访问函数,详见官网最佳实践文档《通过云原生网关访问函数》
5、管理DeepSeek R1模型
可以通过 download 函数的触发器调用 Ollama API 进行模型管理,操作步骤如下:
-
在download函数详情页面“配置”选项卡,找到触发器以及触发器的公网访问地址。
-
通过触发器的公网访问地址调用ollama的API。
-
下载模型:POST /api/pull
-
拷贝模型:POST /api/copy
-
删除模型:DELETE /api/delete
其它API以及详细的定义请参考:https://github.com/ollama/ollama/blob/main/docs/api.md
-
调用API。
以下载DeepSeek R1 7B模型为例,执行如下命令(将your-http-trigger替换为触发器的公网访问地址):
curl -X POST http://your-http-trigger/api/pull -d '{"model": "modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF"}'
注意Ollama默认从Hugging Face下载模型,这里我们选择ModelScope平台以加速模型的下载。
6、接入天翼云慧聚一站式智算服务平台API
天翼云慧聚一站式智算服务平台提供了671B参数大小DeepSeek-R1等大语言模型,我们也可以通过配置息壤平台的模型接口到OpenWebUI:
返回DeepSeek专区导航。