推荐使用场景
工具 推荐场景 不适用场景 AnythingLLM
企业文档问答、私有知识库管理、需严格权限控制的团队协作
快速测试模型、轻量级个人聊天需求
Open WebUI 个人或开发者快速体验模型、多模型切换测试、多模态交互(如语音/图像)
复杂文档管理、企业级安全与协作需求
注意建议使用天翼云提供的 DeepSeek 镜像创建云主机,减少安装过程中可能遇到的问题。镜像选择请参考在天翼云使用Ollama运行DeepSeek的最佳实践-7B等版本-弹性云主机-最佳实践-AIGC实践 - 天翼云。
操作步骤:
一、云主机端口配置更新
1.进入云主机详情页,选择安全组选项,添加新的开放端口。
建议选择新加 3001 端口。添加完成后,可在安全组规则列表中查看新添加的 3001 端口规则,确认其状态为正常生效。
2.进入控制台,远程登陆即将安装AnythingLLM的云主机。
二、AnythingLLM 服务部署( docker 方式)
1.获取 AnythingLLM docker image 文件。
由于国内无法访问 docker hub 网站,您需要修改 docker 的服务配置文件,添加国内可访问的源,以便能够顺利拉取 AnythingLLM docker image 文件。操作步骤如下:
- 向 docker 配置文件中添加国内可访问的 docker 镜像源
- 重启 docker 服务
- 拉取 AnythingLLM docker image
# Docker 守护进程( daemon )的配置文件。添加国内可访问镜像源。
sudo vi /etc/docker/daemon.json
# 重启 docker 服务
sudo systemctl restart docker
# 确认 docker 服务正常
sudo systemctl status docker
# 拉取 anythingllm 镜像
docker pull mintplexlabs/anythingllm
daemon.json 文件添加的内容为:
{
"registry-mirrors": ["http://hub.geekery.cn", "http://hub.littlediary.cn", "http://docker.rainbond.cc"]
}
daemon.json 文件如下,仅供参考:
2.启动 AnythingLLM 服务。
- 首先查看下载的 AnythingLLM 容器镜像的 tag
- 启动 AnythingLLM 服务
- 查看 AnythingLLM 服务状态
# 查看当前的容器镜像列表
docker image list
# 启动 AnythingLLM 服务,下述 PROT 参数需要与第一部分开放的端口相对应
docker run -d -e PORT=3001 -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -e ENABLE_SIGNUP=true -e ENABLE_OPENAI_API=False --add-host=host.docker.internal:host-gateway --net=host -v anythingLLM:/app/backend/data --name anythingLLM --restart always mintplexlabs/anythingllm:latest
# 查看 AnythingLLM 服务状态
docker ps -a
三、AnythingLLM 前端页面配置
1.公网访问 AnythingLLM。
在浏览器输入http://{your_ip}:3001 (your_ip 这台云主机的eip),会出现如下页面
2.选择 Ollama 作为模型加载项。
3.用户设置,按页面提示操作,注册账号,跳过用户调查。
4.创建工作区。
5.点击工作区 test01 打开对话框,输入聊天内容。
四、AnythingLLM 个性化探索
下面给出了一些个性化探索案例,您如果想要了解更多,请访问 AnythingLLM 社区。
1.设置 AnythingLLM 默认语言格式为中文。参考下图进行设置。
2. AnythingLLM 启用联网搜索服务。
启用 AnythingLLM 的联网搜索服务,需要您提供一个联网搜索引擎 api key 来访问Web资源,目前 AnythingLLM 支持的搜索引擎可以参考如下步骤查看。
a. 打开 AnythingLLM 的联网搜索功能
- 首先点击 AnythingLLM 的全局设置按钮。
- 参考下图,找到“代理技能”,选择 agent skills 中的 Web Search,点击步骤3,开启对应功能。
b. 获取 Google 搜索引擎的 ID 以及 API key
- 打开下图中步骤3对应的网页,按提示注册或登录账号、命名搜索引擎、选择搜索范围(可输入指定网页或搜索全网),以及选择是否启用图片搜索功能等操作。完成上述设置并通过人机验证后,点击创建,按提示获取搜索引擎的 ID以及 API key。
- 创建成功后,得到如下图示内容:
- 进入自定义页面,获取搜索引擎的 ID。
- 随后下滑到页面底部,点击程序化访问模块中的“开始使用”按钮。
- 跳转到如下页面,点击获取密钥:
- 按照提示输入api名称,查看api使用协议并按照您的想法选择是否接受:
- 按照提示操作后得到api调用的key。
c. 启用 AnythingLLM 的联网搜索功能
- 配置 Google Search Engine :回到 AnythingLLM 联网搜索的页面,填入上述步骤获取的 ID 和 API key,点击右上角保存。
- 保存成功后得到如下提示:
- 在对话框以 @agent 启用联网功能:
3.AnythingLLM 使用 DeepSeek API
a.前往 DeepSeek API 开放平台 注册一个账号,购买 API 使用资格。
b.参考下述操作步骤,选择 Generic OpenAI 选项,填入 API 认证信息。或者选择 DeepSeek 选项,填入 API 认证信息。
c.到您想要使用的工作区,点击设置,更新当前聊天设置,以启用 DeepSeeK API 服务。
d.需要点击下图按钮来保存配置。
4.调整对话模型及提示词
5.知识库构建
a.上传文件。
其中第3步需要第二部选择上传的文件后才会出现按钮,点击“Move to Workspace”,等待出现成功提示即可。
b.基于知识库的对话。
首先选择上传了语料的工作区,随后直接提问即可。