概述
前言
大模型私有知识库,作为大语言模型技术与企业、组织自有数据深度融合的创新知识管理及应用解决方案,能够为特定用户群体提供更为精准、专业且安全的知识服务。具体来讲,它是借助大语言模型搭建而成,专门为特定组织或个人定制的知识存储与检索系统。此系统会对组织内部的专业知识、业务数据、历史文档等各类信息进行深度整合与精细化处理,从而构建出独一无二的专属知识集合。依托大模型强大的语言理解与生成能力,用户能够在此基础上实现高效的知识查询与问答交互。
本最佳实践我们将为您详细介绍基于AnythingLLM和DeepSeek-R1模型搭建私有知识库的方案。利用该方案,您可以在本地便捷地搭建起相应的私有知识库,大幅提升文本检索能力。
DeepSeek-R1介绍
DeepSeek-R1 是幻方量化旗下 AI 公司深度求索(DeepSeek)研发的一款高性能推理模型。该模型使用强化学习技术进行后训练,专注于提升在数学、代码和自然语言推理等复杂任务上的表现。
AnythingLLM介绍
AnythingLLM是助力大模型应用开发的平台。它有强大模型适配能力,支持各类开源、闭源大模型,可按需灵活调用。提供可视化构建界面,以低代码甚至无代码方式,让用户快速搭建聊天机器人、智能助手等应用。具备数据处理功能,保障输入数据质量。能多环境部署应用,且扩展性佳,方便后续功能升级与性能优化,降低开发门槛与成本,加速大模型应用落地。
前置说明
该文档为算力互联调度平台控制台通过应用市场体验AnythingLLM+DeepSeek-R1模型搭建私有知识库的说明,通过算力互联调度平台控制台,打开应用市场,创建对应的AnythingLLM应用,使用 AnythingLLM构建本地知识库。
本产品中的模型由第三方主体提供,尽管云公司已尽最大努力进行识别和维护,但仍无法保证模型的可用性。请客户按照该产品的服务协议使用该产品,做好甄别并对自行选择的服务负责。
使用前准备
天翼云账号注册
使用算力互联调度平台须具备天翼云官网账号。已有天翼云账号的直接登录即可,如无天翼云账号需先注册,注册流程可参考:注册账号。
使用前提
(1)如需使用服务请先完成实名认证,请参考账号中心-实名认证。
(2)如需使用按需服务,请确认账号余额≥100 元。
操作指引
部署AnythingLLM应用
订购应用
在应用市场页面,选择AnythingLLM-deepseek应用,点击【查看】,进入应用部署页面。
点击【立即订购】,勾选同意用户协议,支付订单,即可完成AnythingLLM应用服务部署。
服务详情查看
进入算力互联调度平台租户控制台。
选择【通用服务】->【应用列表】,进入应用列表页面。
刷新应用列表,等待新创建的应用进入到【运行中】状态后点击右侧操作栏【应用详情】。进入应用详情页面。
注意
本应用集成了本地deepseek-r1:7b大模型和Ollama导致镜像数据较大,加载过程需耗时5-7分钟,请用户耐心等待。我们也将持续优化,加快应用部署速度。
在应用详情页面,点击【去使用】,进入AnythingLLM应用界面。
使用AnythingLLM部署知识库
登录AnythingLLM:使用默认账号登录或自行注册账号登录AnythingLLM。默认账号密码为如下,账号:admin 密钥:ZvMeP%1Ubi)Y
配置工具区默认聊天模型。
点击工作区设置,进入工作区设置页面。
进入“聊天设置”页面,在“工作区LLM提供者”中选择Ollama并配置Ollama Base URL和Ollama Model等参数信息,完成聊天模型配置。平台默认配置了deepseek-r1:7b模型,用户也可根据需要切换自己部署的其他模型或大模型厂商API。算力互联调度平台提供了使用Ollama部署专属的DeepSeek模型推理服务,详细操作请参考最佳实践:通过应用市场部署DeepSeek推理API服务。部署完成后可在推理服务详情界面获取调用URL。
选择我们想使用的默认的工作区聊天模型,如果为空,将使用系统 LLM 首选项。这里以deepseek-r1:7b为例。
配置完毕后,返回工作区,创建新会话。我们即可以使用模型进行对话了。
配置本地知识库,让模型能够优先根据本地知识库内容进行问答。
点击工作区的文件上传按钮,进入文件管理界面。
上传本地文档,并将文档添加到工作区。点击保存,AnythingLLM会自动对文档进行向量化处理。如果文档较大,可能会增加处理耗时,请耐心等待。
回到工作区会话界面,输入提问,现在模型能够优先引用知识库内容进行问答。
将调试部署好的应用分享其他人使用
AnythingLLM支持将调试好的应用以链接的形式分享邀请其他用户使用,流程如下:
点击控制栏底"Open-Setting"按钮进入平台设置页面
点击进入邀请页面,点击生成邀请链接。选择要分享的已创建的工作区,点击生成要邀请链接,系统即可自动生成应用链接。创建后,复制邀请并将其发送给新用户,他们可以在其中创建一个帐户作为默认角色并自动添加到选定的工作区。
点击复制生成的邀请链接,通过邮件、短信或第三方聊天工具等形式发送给想要分享的用户。用户点击链接并创建用户后即可加入该工作区进行使用。
管理员可在“邀请”栏目中查看邀请记录及结果。
支持管理员可在“用户”栏目查看已加入的用户,编辑用户名称、重置密码、设置角色、设定用户访问规则、停止服务或删除角色等操作。
通过以上操作,我们成功创建了一个本地知识库并邀请用户使用。AnythingLLM工具更多功能探索,敬请期待后续使用教程。