什么是DeepSeek

DeepSeek 是一个基于 Transformer 架构的大型语言模型（LLM），由深度求索（DeepSeek）公司开发。它能够处理自然语言理解、生成、翻译、问答等多种任务。在目前大模型主流榜单中，DeepSeek-V3 在开源模型中位列榜首，与世界上最先进的闭源模型不分伯仲。在对话模型典型任务方面的评测效果如下：

当前 DeepSeek 模型有多个版本，参数量从 1.5B、70B到671B不等，适用于不同的应用场景和计算资源。参数量越多，资源消耗越多，使用者可以根据自己实际需求选择不同模型版本。

注意
为维护良好的网络环境和公共秩序，禁止任何用户或机构利用天翼云平台从事违法活动、传播不良信息或实施违反社会公序良俗的行为。若发生此类行为，天翼云将依法采取必要措施，停止相关服务功能，并依法追究责任。
模型由DeepSeek公司提供，模型的结果仅供参考，并可能因不同的环境、数据或操作条件而有所不同，我们不对模型的任何结果负责。

快速体验DeepSeek

Ollama 是一个专为本地运行大语言模型（LLMs）而设计的工具，支持多种模型格式，并提供了简单易用的命令行接口。这里，我们以DeepSeek-r1-7b模型为例，讲解如何在天翼云使用Ollama运行 DeepSeek模型，读者可以根据自己实际需求修改云主机模型和云主机配置。

步骤一：创建GPU云主机

1. 进入创建云主机页面

a.点击天翼云门户首页的“控制中心”，输入登录的用户名和密码，进入控制中心页面。

b.单击“产品服务列表>弹性云主机”，进入主机列表页。

c.单击“创建云主机”，进入弹性云主机创建页。

2. 进行基础配置

a.根据业务需求配置“计费模式”、“地域”、“企业项目”、“虚拟私有云”、“实例名称”、“主机名称”等。

b.选择规格。此处选择"CPU架构"为"X86"、"分类"为"GPU型"、"规格族"为"GPU计算加速型pi7"、"规格"为"pi7.4xlarge.4"。

c.选择镜像。“镜像类型”选择“镜像市场”，在云镜像市场中选择预置了DeepSeek R1模型的DeepSeek-R1-7B-Ubuntu22.04镜像。

注意
本镜像推荐配置：内存≥8G、显存≥16G。

注意
目前也提供了预装DeepSeek-R1-70B模型的镜像，如您有需求，也可在云镜像市场中进行选择。

d.设置云盘类型和大小。

3. 网络及高级配置

设置网络，包括"网卡"、"安全组"，同时配备 "弹性IP" 用于下载和访问模型；设置高级配置，包括"登录方式"、"云主机组"、"用户数据"。

4. 确认并支付

步骤二：使用DeepSeek模型

1. 通过web界面进行模型交互

注意
镜像自带的 ollama 工具监听 127.0.0.1:11434、webui 监听 0.0.0.0:3000 端口，云主机默认不对外开放任何端口访问，请按需开放端口访问规则，避免数据泄露。

a. 放行云主机安全组的 3000 端口。具体操作请参考添加安全组规则-弹性云主机-用户指南-安全-安全组-配置安全组规则 - 天翼云。

b. 访问DeepSeek模型的可视化界面。登录地址为：http://{公网ip地址}:3000。

注意
云主机全自动安装DeepSeek模型和可视化界面，请等待云主机启动 5 分钟后，再访问登录界面。

首次登录页面如下：

c.注册管理员账号。

d.使用设置。

刷新进入首页，在模型下拉列表中，选择刚部署的DeepSeek:7b 模型。

点击左下角进入设置页面，如果您不想开放其他用户注册使用，则需要关闭 “允许用户注册” 功能。

如果您允许用户注册，还可以设置用户注册之后的行为，例如选择新用户注册后默认用户角色为“用户”/“待激活” 等，需要管理员手动激活。

设置模型可见性。多用户模式下，建议把模型设置为"Public"。

e.使用DeepSeek模型进行模型推理。

自定义部署DeepSeek

步骤一：规格选型

不同版本的模型参数量不同，参数量越多，资源消耗越多。不同规模的企业、客户有不同诉求，客户可根据自己的实际需求，选择所需镜像和模型版本。参数较少的DeepSeek模型可以在CPU上正常运行、如1.5B、7B模型，更大的模型需要GPU才能获得良好的体验。天翼云提供了不同模型的硬件配置建议，如下：

模型
推荐显卡数
T4
V100
V100S
A10
A100
DeepSeek-R1-1.5B
1卡16G（1*16G）
1卡32G（1*32G）
1卡32G（1*32G）
1卡24G（1*24G）
1卡40G（1*40G）
DeepSeek-R1-7B
2卡32G（2*16G）
1卡32G（1*32G）
1卡32G（1*32G）
1卡24G（1*24G）
1卡40G（1*40G）
DeepSeek-R1-8B
2卡32G（2*16G）
1卡32G（1*32G）
1卡32G（1*32G）
1卡24G（1*24G）
1卡40G（1*40G）
DeepSeek-R1-14B
4卡64G（4*16G）
2卡64G（2*32G）
2卡64G（2*32G）
2卡48G（2*24G）
2卡80G（2*40G）
DeepSeek-R1-32B
-
4卡128G（4*32G）
4卡128G（4*32G）
4卡96G（4*24G）
4卡160G（4*40G）
DeepSeek-R1-70B
-
-
-
-
4卡160G（4*40G）

对应的GPU云主机规格请参见NVIDIA GPU云主机-GPU云主机-产品简介-产品规格 - 天翼云。

步骤二：云主机开通

创建弹性云主机-弹性云主机-快速入门 - 天翼云

创建配备GPU驱动的GPU云主机（Linux）-GPU云主机-用户指南-创建GPU云主机 - 天翼云

步骤三：手动部署DeepSeek

1. 安装ollama

a. 下载安装脚本

使用非天翼云DeepSeek镜像时，需要手动安装ollama，这里以 amd64 为例，将如下脚本保存到本地，命名为 install_ollama.sh。

#!/bin/sh
# This script installs Ollama on Linux.
# It detects the current operating system architecture and installs the appropriate version of Ollama.

set -eu

red="$( (/usr/bin/tput bold || :; /usr/bin/tput setaf 1 || :) 2>&-)"
plain="$( (/usr/bin/tput sgr0 || :) 2>&-)"

status() { echo ">>> $*" >&2; }
error() { echo "${red}ERROR:${plain} $*"; exit 1; }
warning() { echo "${red}WARNING:${plain} $*"; }

TEMP_DIR=$(mktemp -d)
cleanup() { rm -rf $TEMP_DIR; }
trap cleanup EXIT

available() { command -v $1 >/dev/null; }
require() {
    local MISSING=''
    for TOOL in $*; do
        if ! available $TOOL; then
            MISSING="$MISSING $TOOL"
        fi
    done

    echo $MISSING
}

[ "$(uname -s)" = "Linux" ] || error 'This script is intended to run on Linux only.'

ARCH=$(uname -m)
case "$ARCH" in
    x86_64) ARCH="amd64" ;;
    aarch64|arm64) ARCH="arm64" ;;
    *) error "Unsupported architecture: $ARCH" ;;
esac

IS_WSL2=false

KERN=$(uname -r)
case "$KERN" in
    *icrosoft*WSL2 | *icrosoft*wsl2) IS_WSL2=true;;
    *icrosoft) error "Microsoft WSL1 is not currently supported. Please use WSL2 with 'wsl --set-version <distro> 2'" ;;
    *) ;;
esac

VER_PARAM="${OLLAMA_VERSION:+?version=$OLLAMA_VERSION}"

SUDO=
if [ "$(id -u)" -ne 0 ]; then
    # Running as root, no need for sudo
    if ! available sudo; then
        error "This script requires superuser permissions. Please re-run as root."
    fi

    SUDO="sudo"
fi

NEEDS=$(require curl awk grep sed tee xargs)
if [ -n "$NEEDS" ]; then
    status "ERROR: The following tools are required but missing:"
    for NEED in $NEEDS; do
        echo "  - $NEED"
    done
    exit 1
fi

for BINDIR in /usr/local/bin /usr/bin /bin; do
    echo $PATH | grep -q $BINDIR && break || continue
done
OLLAMA_INSTALL_DIR=$(dirname ${BINDIR})

if [ -d "$OLLAMA_INSTALL_DIR/lib/ollama" ] ; then
    status "Cleaning up old version at $OLLAMA_INSTALL_DIR/lib/ollama"
    $SUDO rm -rf "$OLLAMA_INSTALL_DIR/lib/ollama"
fi
status "Installing ollama to $OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d $BINDIR
$SUDO install -o0 -g0 -m755 -d "$OLLAMA_INSTALL_DIR"
status "Downloading Linux ${ARCH} bundle"
curl --fail --show-error --location --progress-bar \
    "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
    $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
if [ "$OLLAMA_INSTALL_DIR/bin/ollama" != "$BINDIR/ollama" ] ; then
    status "Making ollama accessible in the PATH in $BINDIR"
    $SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"
fi

# Check for NVIDIA JetPack systems with additional downloads
if [ -f /etc/nv_tegra_release ] ; then
    if grep R36 /etc/nv_tegra_release > /dev/null ; then
        status "Downloading JetPack 6 components"
        curl --fail --show-error --location --progress-bar \
            "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}-jetpack6.tgz${VER_PARAM}" | \
            $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
    elif grep R35 /etc/nv_tegra_release > /dev/null ; then
        status "Downloading JetPack 5 components"
        curl --fail --show-error --location --progress-bar \
            "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}-jetpack5.tgz${VER_PARAM}" | \
            $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
    else
        warning "Unsupported JetPack version detected.  GPU may not be supported"
    fi
fi

install_success() {
    status 'The Ollama API is now available at 127.0.0.1:11434.'
    status 'Install complete. Run "ollama" from the command line.'
}
trap install_success EXIT

# Everything from this point onwards is optional.

configure_systemd() {
    if ! id ollama >/dev/null 2>&1; then
        status "Creating ollama user..."
        $SUDO useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
    fi
    if getent group render >/dev/null 2>&1; then
        status "Adding ollama user to render group..."
        $SUDO usermod -a -G render ollama
    fi
    if getent group video >/dev/null 2>&1; then
        status "Adding ollama user to video group..."
        $SUDO usermod -a -G video ollama
    fi

    status "Adding current user to ollama group..."
    $SUDO usermod -a -G ollama $(whoami)

    status "Creating ollama systemd service..."
    cat <<EOF | $SUDO tee /etc/systemd/system/ollama.service >/dev/null
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=$BINDIR/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target
EOF
    SYSTEMCTL_RUNNING="$(systemctl is-system-running || true)"
    case $SYSTEMCTL_RUNNING in
        running|degraded)
            status "Enabling and starting ollama service..."
            $SUDO systemctl daemon-reload
            $SUDO systemctl enable ollama

            start_service() { $SUDO systemctl restart ollama; }
            trap start_service EXIT
            ;;
        *)
            warning "systemd is not running"
            if [ "$IS_WSL2" = true ]; then
                warning "see https://learn.microsoft.com/en-us/windows/wsl/systemd#how-to-enable-systemd to enable it"
            fi
            ;;
    esac
}

if available systemctl; then
    configure_systemd
fi

# WSL2 only supports GPUs via nvidia passthrough
# so check for nvidia-smi to determine if GPU is available
if [ "$IS_WSL2" = true ]; then
    if available nvidia-smi && [ -n "$(nvidia-smi | grep -o "CUDA Version: [0-9]*\.[0-9]*")" ]; then
        status "Nvidia GPU detected."
    fi
    install_success
    exit 0
fi

# Don't attempt to install drivers on Jetson systems
if [ -f /etc/nv_tegra_release ] ; then
    status "NVIDIA JetPack ready."
    install_success
    exit 0
fi

# Install GPU dependencies on Linux
if ! available lspci && ! available lshw; then
    warning "Unable to detect NVIDIA/AMD GPU. Install lspci or lshw to automatically detect and install GPU dependencies."
    exit 0
fi

check_gpu() {
    # Look for devices based on vendor ID for NVIDIA and AMD
    case $1 in
        lspci)
            case $2 in
                nvidia) available lspci && lspci -d '10de:' | grep -q 'NVIDIA' || return 1 ;;
                amdgpu) available lspci && lspci -d '1002:' | grep -q 'AMD' || return 1 ;;
            esac ;;
        lshw)
            case $2 in
                nvidia) available lshw && $SUDO lshw -c display -numeric -disable network | grep -q 'vendor: .* \[10DE\]' || return 1 ;;
                amdgpu) available lshw && $SUDO lshw -c display -numeric -disable network | grep -q 'vendor: .* \[1002\]' || return 1 ;;
            esac ;;
        nvidia-smi) available nvidia-smi || return 1 ;;
    esac
}

if check_gpu nvidia-smi; then
    status "NVIDIA GPU installed."
    exit 0
fi

if ! check_gpu lspci nvidia && ! check_gpu lshw nvidia && ! check_gpu lspci amdgpu && ! check_gpu lshw amdgpu; then
    install_success
    warning "No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode."
    exit 0
fi

if check_gpu lspci amdgpu || check_gpu lshw amdgpu; then
    status "Downloading Linux ROCm ${ARCH} bundle"
    curl --fail --show-error --location --progress-bar \
        "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}-rocm.tgz${VER_PARAM}" | \
        $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

    install_success
    status "AMD GPU ready."
    exit 0
fi

CUDA_REPO_ERR_MSG="NVIDIA GPU detected, but your OS and Architecture are not supported by NVIDIA.  Please install the CUDA driver manually https://docs.nvidia.com/cuda/cuda-installation-guide-linux/"
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-7-centos-7
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-8-rocky-8
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-9-rocky-9
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#fedora
install_cuda_driver_yum() {
    status 'Installing NVIDIA repository...'

    case $PACKAGE_MANAGER in
        yum)
            $SUDO $PACKAGE_MANAGER -y install yum-utils
            if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo" >/dev/null ; then
                $SUDO $PACKAGE_MANAGER-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo
            else
                error $CUDA_REPO_ERR_MSG
            fi
            ;;
        dnf)
            if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo" >/dev/null ; then
                $SUDO $PACKAGE_MANAGER config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo
            else
                error $CUDA_REPO_ERR_MSG
            fi
            ;;
    esac

    case $1 in
        rhel)
            status 'Installing EPEL repository...'
            # EPEL is required for third-party dependencies such as dkms and libvdpau
            $SUDO $PACKAGE_MANAGER -y install https://dl.fedoraproject.org/pub/epel/epel-release-latest-$2.noarch.rpm || true
            ;;
    esac

    status 'Installing CUDA driver...'

    if [ "$1" = 'centos' ] || [ "$1$2" = 'rhel7' ]; then
        $SUDO $PACKAGE_MANAGER -y install nvidia-driver-latest-dkms
    fi

    $SUDO $PACKAGE_MANAGER -y install cuda-drivers
}

# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#ubuntu
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#debian
install_cuda_driver_apt() {
    status 'Installing NVIDIA repository...'
    if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-keyring_1.1-1_all.deb" >/dev/null ; then
        curl -fsSL -o $TEMP_DIR/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-keyring_1.1-1_all.deb
    else
        error $CUDA_REPO_ERR_MSG
    fi

    case $1 in
        debian)
            status 'Enabling contrib sources...'
            $SUDO sed 's/main/contrib/' < /etc/apt/sources.list | $SUDO tee /etc/apt/sources.list.d/contrib.list > /dev/null
            if [ -f "/etc/apt/sources.list.d/debian.sources" ]; then
                $SUDO sed 's/main/contrib/' < /etc/apt/sources.list.d/debian.sources | $SUDO tee /etc/apt/sources.list.d/contrib.sources > /dev/null
            fi
            ;;
    esac

    status 'Installing CUDA driver...'
    $SUDO dpkg -i $TEMP_DIR/cuda-keyring.deb
    $SUDO apt-get update

    [ -n "$SUDO" ] && SUDO_E="$SUDO -E" || SUDO_E=
    DEBIAN_FRONTEND=noninteractive $SUDO_E apt-get -y install cuda-drivers -q
}

if [ ! -f "/etc/os-release" ]; then
    error "Unknown distribution. Skipping CUDA installation."
fi

. /etc/os-release

OS_NAME=$ID
OS_VERSION=$VERSION_ID

PACKAGE_MANAGER=
for PACKAGE_MANAGER in dnf yum apt-get; do
    if available $PACKAGE_MANAGER; then
        break
    fi
done

if [ -z "$PACKAGE_MANAGER" ]; then
    error "Unknown package manager. Skipping CUDA installation."
fi

if ! check_gpu nvidia-smi || [ -z "$(nvidia-smi | grep -o "CUDA Version: [0-9]*\.[0-9]*")" ]; then
    case $OS_NAME in
        centos|rhel) install_cuda_driver_yum 'rhel' $(echo $OS_VERSION | cut -d '.' -f 1) ;;
        rocky) install_cuda_driver_yum 'rhel' $(echo $OS_VERSION | cut -c1) ;;
        fedora) [ $OS_VERSION -lt '39' ] && install_cuda_driver_yum $OS_NAME $OS_VERSION || install_cuda_driver_yum $OS_NAME '39';;
        amzn) install_cuda_driver_yum 'fedora' '37' ;;
        debian) install_cuda_driver_apt $OS_NAME $OS_VERSION ;;
        ubuntu) install_cuda_driver_apt $OS_NAME $(echo $OS_VERSION | sed 's/\.//') ;;
        *) exit ;;
    esac
fi

if ! lsmod | grep -q nvidia || ! lsmod | grep -q nvidia_uvm; then
    KERNEL_RELEASE="$(uname -r)"
    case $OS_NAME in
        rocky) $SUDO $PACKAGE_MANAGER -y install kernel-devel kernel-headers ;;
        centos|rhel|amzn) $SUDO $PACKAGE_MANAGER -y install kernel-devel-$KERNEL_RELEASE kernel-headers-$KERNEL_RELEASE ;;
        fedora) $SUDO $PACKAGE_MANAGER -y install kernel-devel-$KERNEL_RELEASE ;;
        debian|ubuntu) $SUDO apt-get -y install linux-headers-$KERNEL_RELEASE ;;
        *) exit ;;
    esac

    NVIDIA_CUDA_VERSION=$($SUDO dkms status | awk -F: '/added/ { print $1 }')
    if [ -n "$NVIDIA_CUDA_VERSION" ]; then
        $SUDO dkms install $NVIDIA_CUDA_VERSION
    fi

    if lsmod | grep -q nouveau; then
        status 'Reboot to complete NVIDIA CUDA driver install.'
        exit 0
    fi

    $SUDO modprobe nvidia
    $SUDO modprobe nvidia_uvm
fi

# make sure the NVIDIA modules are loaded on boot with nvidia-persistenced
if available nvidia-persistenced; then
    $SUDO touch /etc/modules-load.d/nvidia.conf
    MODULES="nvidia nvidia-uvm"
    for MODULE in $MODULES; do
        if ! grep -qxF "$MODULE" /etc/modules-load.d/nvidia.conf; then
            echo "$MODULE" | $SUDO tee -a /etc/modules-load.d/nvidia.conf > /dev/null
        fi
    done
fi

status "NVIDIA GPU ready."
install_success

b. 执行安装

bash install_ollama.sh

如下显示则为安装成功。

c.测试ollama服务安装情况

ollama ps

2. 下载模型

天翼云镜像站也为常见镜像提供了加速能力，包括1.5B\7B\14B\70B\671B 等相关模型，可以通过如下手段体验其他模型，以14B 模型为例：

mkdir deepseek-r1-14b
cd deepseek-r1-14b
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-14b/deepseek-r1-14b.gguf
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-14b/ModelFile
ollama create deepseek-r1:14b -f ModelFile

如果你想体验其他模型，也可以直接通过ollama下载。

ollama pull deepseek-r1:14b

3. 使用ollama运行模型

ollama run deepseek-r1:14b

4.通过web界面进行交互

a.安装open-webui

docker pull ghcr.io/open-webui/open-webui:main

b.启动容器

docker run -d --net=host -e PORT=3000 -e 
OLLAMA_BASE_URL=http://127.0.0.1:11434 -e
ENABLE_SIGNUP=true -e ENABLE_OPENAI_API=False -v open-webui:/app/backend/data --name
open-webui --restart always ghcr.io/open-webui/open-webui:main

后续请参考上文“快速体验DeepSeek——步骤二：使用deepseek模型”。

FAQ

盘不够了，我应该怎么办？

如果您在模型部署过程中发现云盘的容量不够，可以采取如下措施:

1.根据云硬盘扩容概述-云硬盘-用户指南-扩容云硬盘 - 天翼云对已有云盘进行扩容。

2.新建一块数据盘并挂载，相关操作见挂载云硬盘-云硬盘-快速入门 - 天翼云、初始化数据盘-弹性云主机-快速入门 - 天翼云。

如何修改ollama模型的存储位置？

在linux环境下，ollama默认模型存储目录是 /usr/share/ollama/.ollama/models/，我们建议您使用云硬盘独立挂载数据盘，将模型存储到数据盘中。模型存储位置是由环境变量控制的，我们需要修改ollama的环境变量重启服务才能修改存储目录，我们以 /data/ollama/models 目录为例：

1.打开 ollama.service 文件

vi /etc/systemd/system/ollama.service

注意
请确保 ollama 用户组中的 ollama 用户具备访问该目录的读写权限

2.新增相关环境变量

3.重启服务

systemctl daemon-reload
systemctl restart ollama

如何通过vllm部署模型？

建议使用天翼云提供的DeepSeek镜像，减少安装过程中可能遇到的问题。如您必须通过vllm部署模型，请参考如下步骤：

1.安装依赖包

# 安装pip
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py
# 修改pip镜像源，以清华源为例
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装依赖包
pip install modelscope==1.22.3
pip install openai==1.61.0
pip install tqdm==4.67.1
pip install transformers==4.48.2
pip install vllm==0.7.1
pip install jinja2==3.1.0

2.下载模型

为了方便，我们以较小的DeepSeek-R1-Distill-Qwen-1.5B为例（3.5G左右），将以下内容保存为 model_download.py 文件，参数 cache_dir 为模型的下载路径，您可以按需修改，需确保存储空间足够存放模型。

from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B', cache_dir='/root/model-path', revision='master')

运行该文件，启动模型下载。

python model_download.py

3.运行模型

完成下载后，即可使用 vllm 运行模型。

vllm serve
/root/model-path/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B   
--served-model-name DeepSeek-R1-Distill-Qwen-1.5B   
--max-model-len=2048 --api-key my-token --port=8000

注意
其中 --api-key 参数用于模型 api 调用时认证动作，可按需修改值。

4.使用WebUI访问模型

基于我们已经安装、配置好的 OpenWebUI页面，可以直接访问模型。

管理员设置中，配置OpenAI API访问地址，密钥就是上文中的 --api-key。

选择对应的模型，直接进行问答体验。