1. 概述:
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种 LLM 运行程序,包括 Ollama 和 OpenAI 兼容的 API。
2. 准备环境:
1.【开发机】创建开发机
-
填入名称“open-webui”选择队列及可用区
-
【资源配置】- 【GPU加速型】在单选框中选择“NVIDIA 3060” (规格根据实际情况修改 GPU类型可选择A10 A100 3060 3080)
-
框架版本选择【社区镜像】的“vnc-open-webui-cuda11.3”
2.点击【确认订单】
3.启动开发机并登录VNC:
-
【开发机】刷新状态,等待open-webui开发机状态进入到【运行中】状态后点击右侧操作栏【打开】。
-
点击【打开】跳转到vnc开发机,成功进入到远程桌面中。
3.启动Open WebUI,准备模型:
-
点击桌面上【OI】图标,等待弹窗浏览器(第一次启动时间较长)
-
在窗口点击【注册】输入用户名,邮箱,和密码 (信息保存在VNC开发机中,重启后需要重新注册)
-
在窗口点击【登录】输入用户名,密码,进入对话界面
-
在【选择一个模型】下拉框输入模型,如【llama:8b】,选择【从 Ollama.com 拉取“llama3:8b”】
4.使用模型对话:
-
在【选择一个模型】下拉框选择上一步下载好的模型【llama3:8b】
-
在对话框里输入问题后点击【发送消息】图标,模型将给出答复