如何下载和部署 NVIDIA Triton Inference Server？

### NVIDIA Triton Inference Server 下载与部署教程 #### 安装 Docker 和 nvidia-docker 为了运行 Triton Inference Server，需要安装支持 GPU 的 Docker 环境。这可以通过安装 `nvidia-container-toolkit` 来实现，该工具包允许容器访问主机上的 GPU 资源。 ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-docker2 sudo systemctl restart docker ``` #### 获取并启动 Triton Inference Server 镜像 通过官方提供的命令可以拉取最新的 Triton Inference Server Docker 镜像，并配置必要的参数以确保服务器能够正常工作[^4]： ```bash sudo docker pull nvcr.io/nvidia/tritonserver:<tag>-py3 sudo docker run --gpus all --rm --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 \ -p8000:8000 -p8001:8001 -p8002:8002 \ -v/path/to/model/repository:/models \ nvcr.io/nvidia/tritonserver:<tag>-py3 tritonserver --model-repository=/models ``` 其中 `<tag>` 是指具体的版本标签，例如 `20.09` 或者其他可用的稳定版；而 `/path/to/model/repository` 则是要挂载到容器内的本地模型仓库路径。 #### 准备模型库结构 对于想要加载至 Triton 中的服务化 AI 模型而言，其文件夹应当按照特定格式组织起来。比如 YOLOv5 TensorRT 模型实例中提到的操作如下所示[^3]： ```bash cd triton-yolov5-trt mkdir -p triton_deploy/models/yolov5/1/ mkdir triton_deploy/plugins cp tensorrtx/yolov5/yolov5s.engine triton_deploy/models/yolov5/1/model.plan cp tensorrtx/yolov5/build/libmyplugins.so triton_deploy/plugins/libmyplugins.so ``` 这里创建了一个名为 `triton_deploy` 的目录用于存放即将被服务化的YOLO v5模型及其依赖插件，在此之后还需要设置好相应的配置文件（通常是 `.config.pbtxt` 文件），以便让Triton知道如何解析这些二进制数据作为有效的推理引擎输入输出接口定义。 #### 关于发布版本的信息更新 有关最新发布的功能改进以及已知问题修复情况，请参阅官方文档中的发行说明部分[^2]。