searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

服务器部署ChatGLM3-6B模型

2024-03-25 01:20:00
25
0

环境配置

Python版本

python --version

Python 3.10.14

PyTorch版本

python -c 'import torch; print(torch.__version__)'

2.2.1+cu121

CUDA版本

nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver

Copyright (c) 2005-2022 NVIDIA Corporation

Built on Wed_Sep_21_10:33:58_PDT_2022

Cuda compilation tools, release 11.8, V11.8.89

Build cuda_11.8.r11.8/compiler.31833905_0

部署

安装依赖

conda create -n chatglm3-demo python=3.10

conda activate chatglm3-demo

pip install -r requirements.txt

此外,使用 Code Interpreter 还需要安装 Jupyter 内核:

ipython kernel install --name chatglm3-demo --user

下载仓库

git clone ..../THUDM/ChatGLM3

下载模型

HuggingFace

sudo apt-get install git-lfs

git lfs install

git clone .../THUDM/chatglm3-6b

ModelScope

国内服务器建议采取这种方式下载模型

新建 download.py,粘贴以下内容

from modelscope import snapshot_download

model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

启动服务

首先,需要设置模型文件位置,可以在所要运行的demo文件中设置,或者选择临时写入环境变量进行测试

export MODEL_PATH="/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b"

echo $MODEL_PATH

在basic_demo目录下提供了简单的测试demo,使用网页进行测试可能需要服务器拥有公网ip或者使用FRP等内网穿透工具。

可以通过以下命令启动基于 Gradio 的网页版 demo:

python web_demo_gradio.py

可以通过以下命令启动基于 Streamlit 的网页版 demo:

streamlit run web_demo_streamlit.py

可以通过以下命令启动命令行对话 Demo:

python cli_demo.py

效果

0条评论
0 / 1000
s****n
10文章数
0粉丝数
s****n
10 文章 | 0 粉丝
原创

服务器部署ChatGLM3-6B模型

2024-03-25 01:20:00
25
0

环境配置

Python版本

python --version

Python 3.10.14

PyTorch版本

python -c 'import torch; print(torch.__version__)'

2.2.1+cu121

CUDA版本

nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver

Copyright (c) 2005-2022 NVIDIA Corporation

Built on Wed_Sep_21_10:33:58_PDT_2022

Cuda compilation tools, release 11.8, V11.8.89

Build cuda_11.8.r11.8/compiler.31833905_0

部署

安装依赖

conda create -n chatglm3-demo python=3.10

conda activate chatglm3-demo

pip install -r requirements.txt

此外,使用 Code Interpreter 还需要安装 Jupyter 内核:

ipython kernel install --name chatglm3-demo --user

下载仓库

git clone ..../THUDM/ChatGLM3

下载模型

HuggingFace

sudo apt-get install git-lfs

git lfs install

git clone .../THUDM/chatglm3-6b

ModelScope

国内服务器建议采取这种方式下载模型

新建 download.py,粘贴以下内容

from modelscope import snapshot_download

model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

启动服务

首先,需要设置模型文件位置,可以在所要运行的demo文件中设置,或者选择临时写入环境变量进行测试

export MODEL_PATH="/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b"

echo $MODEL_PATH

在basic_demo目录下提供了简单的测试demo,使用网页进行测试可能需要服务器拥有公网ip或者使用FRP等内网穿透工具。

可以通过以下命令启动基于 Gradio 的网页版 demo:

python web_demo_gradio.py

可以通过以下命令启动基于 Streamlit 的网页版 demo:

streamlit run web_demo_streamlit.py

可以通过以下命令启动命令行对话 Demo:

python cli_demo.py

效果

文章来自个人专栏
机器学习学习笔记
2 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
0
0