[triton服务下载][https://github.com/triton-inference-
server/server/releases/download/v2.11.0/tritonserver2.11.0-jetpack4.5.tgz]

注意：

triton最新版本： 2.28.0
triton arm64/amd64镜像支持： 2.16.0 , 2.16.0 之前的版本，仅支持amd架构镜像

一、 安装依赖

apt-get update && \
apt-get install -y --no-install-recommends \ software-properties-common \
autoconf \
automake \
build-essential \ cmake \
git \
libb64-dev \ libre2-dev \ libssl-dev \ libtool \ libboost-dev \
libcurl4-openssl-dev \ libopenblas-dev \ rapidjson-dev \ patchelf \
zlib1g-dev

apt-get install -y --no-install-recommends \ curl \
libopencv-dev=3.2.0+dfsg-4ubuntu0.1 \ libopencv-core-dev=3.2.0+dfsg-4ubuntu0.1 \ pkg-config \
python3 \ python3-pip \ python3-dev

配置Python镜像源

vim ~/.pip/pip.conf

[global] timeout = 6000
index-url = http://pypi.douban.com/simple/
trusted-host = pypi.douban.com

二、安装tritonclient

pip3 install --upgrade wheel setuptools cython && \
pip3 install --upgrade grpcio-tools numpy==1.19.4 future attrdict


#clients文件夹是本地triton
python3 -m pip install --upgrade clients/python/tritonclient-2.11.0-py3-none- linux_aarch64.whl[all]

三、运行triton服务
步骤1：解压 tritonserver2.11.0-jetpack4.5.tgz

mkdir ./triton && tar -zxvf tritonserver2.11.0-jetpack4.5.tgz -C ./triton

步骤2：拷贝backends文件至 /opt/tritonserver

cp -r backends/	/opt/tritonserver/

步骤3：创建模型仓库

./server/docs/examples/fetch_models.sh

注: 示例的脚本，需要访问外网

步骤4：运行triton服务

./bin/tritonserver --model- repository="server/docs/examples/model_repository/"

三、模型验证

cd ./client3/python


python3 ./image_client.py	-m densenet_onnx -s INCEPTION
../../qa/images/mug.jpg

总结：

deepstream不建议部署成图片api部署的方式，deepstream启动前，就需要先将输入量、模型进行绑定，然后推理，计算出结果，若出现大量api访问的话，需要启动多个deepstream进程去处理，对于盒子，不太合适；因此仅适合输入量是视频流的方式。

triton模型，预先加载模型启动triton服务的，运行前未绑定输入量，tritonclient支持http和grpc以及支持python自定义的模型，因此适合输入图片，字符串，语音等方式，适合api服务部署。