1. 概述
DeepSeek-R1
DeepSeek-R1 是幻方量化旗下 AI 公司深度求索(DeepSeek)研发的一款高性能推理模型。该模型使用强化学习技术进行后训练,专注于提升在数学、代码和自然语言推理等复杂任务上的表现。
DeepSeek-R1 在需要逻辑推理、思维链推理和实时决策的任务中表现出色,如解决高级数学问题、生成复杂代码、解析复杂科学问题等。在类似 Codeforces 的挑战场景中获得了2029 Elo 评分;在复杂推理基准测试中,表现与 OpenAI 的 o1 模型相当。尽管总共有6710亿的庞大参数,但每次前向传递时仅激活370亿个参数,比大多数大模型更加高效的利用资源。
AnythingLLM
AnythingLLM 是一款开源平台,以简单易用为显著特点,它为没有深厚技术背景的用户敞开了大语言模型应用开发的大门,凭借直观界面让开发变得轻松。其具备高度可定制性,用户能按需灵活调整模型参数、功能逻辑等,还拥有强大的集成能力,可与多种数据源及工具无缝对接。在功能上,它涵盖模型管理、数据处理和应用部署等方面,支持多模型选择与更新,可有效处理数据以提升模型效果,并能以多种方式将应用快速推向生产环境。广泛适用于智能客服提升服务效率、内容创作辅助产出优质文案以及数据分析提供决策洞察等多元场景。
当前在科研助手的社区镜像中,我们已经为您提前部署好了基于 AnythingLLM 搭建的DeepSeek 知识库平台,方便您即刻体验,开箱即用。
2. 前置说明
- 该文档为在科研助手上使用 AnythingLLM 搭建 DeepSeek 知识库的说明;
- 本产品中的模型由第三方主体提供,尽管云公司已尽最大努力进行识别和维护,但仍无法保证模型的可用性。请客户按照该产品的服务协议使用该产品,做好甄别并对自行选择的服务负责
3. 准备环境
本地文档准备
在搭建知识库过程中,如需要引用本地文档,请提前在科研助手中通过【数据存储】功能,将本地数据传至开发机上。此处以数据集管理为例,演示如何创建及挂载。
- 进入科研助手控制台,点击左上角,切换“科研版”;
- 在【数据存储】弹出的选项中,选择【数据集管理】。在【数据集管理】页面中切换至【个人数据集】,点击左上角的【创建数据集】按钮。
此处需注意,数据集选用的可用区和后续开发机的可用区应在同一个可用区,否则无法跨区挂载。此处选择中卫4。其余请按照实际需求选择。
- 刷新页面,可以在列表中看到创建的数据集bc-manual。
- 在数据集右侧单击【查看】按钮,进入文件管理页面,点击右上角【本地上传】-【上传文件】,选择您所创建知识库需要的文档。
上传完成后,进行下一步开发机准备。
开发机准备
- 进入科研助手控制台,点击左上角,切换“科研版”。
- 进入“科研版”总览页,点击快捷入口【找镜像】,进入镜像商城。
- 在“镜像商城”中,找到名为“DeepSeek-R1知识库”的镜像,点击【使用此镜像】,进入开发机创建界面;
- 在购买页面中,【基础信息】-【主机规格】一栏,用户可以按照如下配置选择:
配置 | 算力型号 | 可用区 |
---|---|---|
最低配置 | GPU.gn3.m1 | 厦门4、扬州7 |
推荐配置 | GPU.gn4.2xl1 | 贵阳2 |
高端配置 | NVIDIA A100 40G | 中卫4 |
这里以NVIDIA-A100-40G为例,框架版本已默认选好【社区镜像】的“anythingllm-deepseek-r1-cuda11.3”
- 点击【确认订单】,完成开发机创建并启动。
4. 启动开发机并登录VNC远程桌面
- 购买完成后,可以看见开发机状态显示为【启动中】,等待新创建的开发机状态进入到【运行中】,然后点击右侧操作栏【打开】;
- 点击【打开】跳转到开发机页面,进入到VNC远程桌面页面中。
- 点击启动 AnythingLLM 图标,将自动部署 AnythingLLM 服务,启动完成后将自动弹出 AnythingLLM 页面。
- 点击 Get Started,在 LLM 列表中找到并选中“Ollama”,选中后可看到 Ollma Model 中默认选择了 DeepSeek-R1 模型
- 用户设置中选择“Just Me”和“No”。
- 继续点击“->”,进入下一步
- 继续点击“->”,进入下一步
- 输入“工作区名称”,创建一个工作区
- 进入到 AnythingLLM 工作区
5. 在科研助手开发机中通过 AnythingLLM 使用 DeepSeek 模型
- 点击左侧菜单“+ 新工作区”,输入工作区名称并保存。
- 在工作区中即可体验 DeepSeek 模型。
- 点击左侧工作区的“上传按钮”,可将知识库文档导入 AnythingLLM 中。
- 上传后,点击Save and Embed,保存上传的知识库内容。
- 输入知识库相关问题,验证知识库是否更新。
注意您也可以部署自己的DeepSeek推理服务,详细步骤请参考最佳实践通过应用市场部署DeepSeek推理API服务