准备工作
首次使用时,您需要开通Serverless边缘容器,并为其授权相应云资源的访问权限。
- 注册一个天翼云帐号并完成实名认证。
- 访问智能边缘云ECX开通页面,完成ECX服务开通。
- 访问Serverless边缘容器开通页面。
- 阅读并选中Serverless边缘容器服务协议。
- 单击【立即开通】。
- 访问Serverless边缘容器控制台进行环境初始化。
完成以上步骤后,即可使用Serverless边缘容器。
操作步骤
一、创建无状态实例
1.登录Serverless边缘容器服务控制台
2.点击左侧导航栏的【应用管理】栏目下的【无状态实例】
3.点击【创建应用】
4.填写【应用名称】并选择【命名空间】。
5.选择可用区域,并在可用区域右侧的已选集群中副本数量填为1。选择【专有网络】和【子网】,如果没有【专有网络】则点击【创建】提示。
6.确认配置正确后点击下一步:【高级配置】。
7.在高级配置中填写【容器名称】、选择【容器规格】为4核8G。
8.点击选择镜像,并点击第三方镜像,填入llama3镜像地址:
ehub.ctcdn.cn/ollama/open-webui:ollama-llama3
9.点击下一步【资源预检】。
10.检测通过后点击下一步【配置确认】。
11.确认无误后点击【提交】。在【无状态实例】列表中可以看见刚才创建的实例正在创建中。
二、为llama3创建服务
1.点击左侧导航栏的【网络管理】栏目中的【服务】。
2.点击【创建服务】按钮,在【创建服务】中填写【服务名称】、选择【命名空间】、【关联应用】选择为llama3的无状态实例。【端口配置】中,【协议】选择【TCP】,【服务端口】和【容器端口】都填写为8080。点击【立即创建】。
3.在【服务】中可以看到创建的服务已正常运行。
三、为llama3创建弹性负载均衡
1.点击左侧导航栏的【网络管理】栏目中的【弹性负载均衡】。
2.点击【创建负载均衡】,填写【SLB名称】,选择【自动创建】弹性公网IP。【带宽限制】选择5Mbps。【部署分布】选择先前部署无状态实例所在的区域,【虚拟私有云】也需要选择与之前一致。
3.确认配置正确后点击【提交】。
4.成功创建弹性负载均衡后在【弹性负载均衡】列表中点击【配置监听器】。
5.点击【后端服务器组】,【添加后端服务器组】。填写任意【名称】,【协议】选择【TCP】,【分配策略类型】选择【加权轮询】。然后点击【确认】。
6.在创建的【后端服务器组】中点击【添加服务】。选择llama3关联的服务,并点击【确认】。
7.点击【监听设置】,点击【添加监听器】。填写【监听器名称】、【协议】选择【TCP】、【SLB端口】填写6060、【后端服务器组】选择刚才新建的后端服务器组。点击确认。
四、登录llama3的webui
1.在【弹性负载均衡】详情页面中,显示了【弹性公网IP】。
2.打开浏览器,访问http://ip:6060即可进入到llama3的webui。(例如http://180.123.1.22:6060)
3.点击【Sign up】注册账号,账号为本地保存,可以随意创建。
4.创建账号成功后用账号进行登录,可以进入到交互页面中。
5.在页面顶部选择模型,默认预置llama3-8B。
6.在聊天框中输入内容即可与模型交互。