1. 概述:
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种 LLM 运行程序,包括 Ollama 和 OpenAI 兼容的 API。
2. 准备环境:
1.【开发环境】创建开发环境
- 填入名称“open-webui”选择队列及可用区
- 【资源配置】- 【GPU加速型】在单选框中选择“NVIDIA A10” (规格根据实际情况修改 GPU类型可选择A10 A100 3060 3080)
- 框架版本选择【社区镜像】的“vnc-open-webui-cuda11.3”
2.点击【确认订单】
3.启动开发环境并登录VNC:
-
【开发环境】刷新状态,等待open-webui开发环境状态进入到【运行中】状态后点击右侧操作栏【打开】
-
点击【打开】跳转到vnc开发机
-
在开发环境的详情页获取用户名和密码,填入到vnc认证框中后方可进入到开发环境的远程桌面。
-
成功进入到远程桌面中
3.启动Open WebUI,准备模型:
-
点击桌面上【OI】图标,等待弹窗浏览器(第一次启动时间较长)
-
在窗口点击【注册】输入用户名,邮箱,和密码 (信息保存在VNC开发机中,重启后需要重新注册)
-
在窗口点击【登录】输入用户名,密码,进入对话界面
-
在【选择一个模型】下拉框输入模型,如【llama:8b】,选择【从 Ollama.com 拉取“llama3:8b”】
4.使用模型对话:
-
在【选择一个模型】下拉框选择上一步下载好的模型【llama3:8b】
-
在对话框里输入问题后点击【发送消息】图标,模型将给出答复