基于SpringBoot+Docker+Pythorch+Onnx+Tensorrt+Yolov8+的AI算法中台系统(毕设&课

# java_pytorch_onnx_tensorrt_yolov8_vue 视频算法中台系统 #### 介绍 1.基于SpringBoot+Docker+Cuda+Cudnn+Pythorch+Onnx+Tensorrt+Yolov8+ffmpeg+zlmediakit 的AI算法中台系统，本系统主要实现JAVA调用Python脚本的方式，实现在GPU(Nvidia Tesla T4)上进行yolov8的加速推理运算。 2.项目可实现人、车、火灾烟雾、河道漂浮物、道路裂痕等视频的实时识别，并将识别结果通过ffmpeg推流到zlmediakit流媒体服务器，使得在web页面上可以同时查看原始视频和实时计算视频。 3.项目每隔1分钟将推理结果信息和对应的图片推送到文件服务器minio和消息队列rocketmq,便于开发者获取到推理结果进行业务开发。 4.项目同时支持基于ONNX的推理运算和基于Tensorrt的加速推理运算2种方式,只需在调用时传递不同参数即可。 5.项目同时支持Linux和Windows环境，代码自动判断运行的环境并执行对应的.bat或.sh脚本文件以启动AI模型推理。 6.项目包含前端完整代码和后端完整代码，开箱即用，为JAVA开发者训练、部署、使用AI模型提供了参考。 #### 软件架构 1.系统架构 本AI算法中台系统结合了SpringBoot开发Web项目的优势、Python训练调试AI模型的优势、Shell脚本便于调用Linux服务器资源的优势，将不同语言综合一起协调工作，并将项目运行在Docker容器中以便于运维和管理，让JAVA开发者能够方便训练、部署、使用AI模型。  2.技术栈 开发环境：IDEA、JDK1.8、Maven、Gitlab、Pycharm、Anaconda3 软件架构：Nginx + SpringBoot + Vue + Shell + Python 前端框架：Vue + Nodejs Web框架：SpringBoot Orm框架：MyBatis3 数据库：Mysql、Redis、MongoDB 消息队列：RocketMq 文件服务: Minio 代码生成: FreeMarker自动生成后端Java代码和前端Vue代码 CPU设备: Intel(R) Xeon(R) Gold 5218 CPU @ 2.30GHz GPU设备: Nvidia Tesla T4 16G AI模型：Yolov8n/Yolov8m 训练环境：Pytorch2.3.0 + Onnxruntime-gpu1.16.1 + Ultralytics8.2.48 推理环境: Cuda11.8 + Cudnn8.6.0 + Tensorrt8.5.1.7 + Onnxruntime-gpu1.16.1 推理加速: Tensorrt8.5.1.7 视频操作：Opencv4.7.0 视频推流: FFmpeg4.2.7 流媒体服务：Zlmediakit 部署环境：Docker + Ubuntu20.04 #### 目录说明 data/algorithm_model : 算法模型库，提供了作者训练并部署的5个常用算法模型,包括.pt .onnx .engine 三种格式 data/doc : 算法中台接口文档 data/front_code : 项目前端Vue代码 data/linux : linux下的onnx和tensorrt推理运行代码 data/windows : windows下的onnx和tensorrt推理运行代码 data/sql : 项目数据库 src : 项目后端springboot代码 #### 安装教程 1.安装Zlmediakit流媒体服务器，安装方法如下: (1).拉取docker镜像 docker pull zlmediakit/zlmediakit:master (2).创建目录以存放zlmediakit数据 mkdir -p /home/docker/zlmediakit && chmod 777 /home/docker/zlmediakit (3).运行镜像 --1.先运行镜像得到配置文件 docker run --name zlmediakit -d zlmediakit/zlmediakit:master --2.复制 zlmediakit 容器文件到指定目录 docker cp -a zlmediakit:/opt/media /home/docker/zlmediakit --3.删除 zlmediakit 容器 docker rm -f zlmediakit --4.重新按自定义方式运行 docker run --name zlmediakit --restart=always --env MODE=standalone -e TZ="Asia/Shanghai" \ -v /home/docker/zlmediakit/media/bin:/opt/media/bin \ -v /home/docker/zlmediakit/media/conf:/opt/media/conf \ -p 11935:1935 -p 11080:80 -p 11554:554 \ -p 11000:10000 -p 11000:10000/udp -p 18000:8000/udp \ -p 50000-50300:50000-50300/udp \ -d zlmediakit/zlmediakit:master 2.安装mysql、mongodb、redis、rocketmq、minio 3.导入项目的Mysql数据库 data/sql/algorithm_center.sql 4.安装推理环境并运行后端项目 (1).在Windows下安装推理环境并运行(根据自己计算机的硬件配置情况选择如下3种安装方式中的1种) **1**.安装推理环境 1).计算机没有GPU显卡---使用onnxruntime的cpu版本进行推理 --1.电脑主机需要安装如下软件 ①.Anaconda3(安装方法百度: Windows安装anaconda3 或参考 https://blog.csdn.net/zwLoneranger/article/details/138743242) ②.opencv4.7.0 (安装方法百度: Windows安装opencv) ③.FFmpeg4.2.7 (安装方法百度: Windows安装FFmpeg) --2.由于推理代码是使用python语言运行,所以需要在Python环境(如Python3.9/Anaconda3/Miniconda)中安装如下依赖库: ①.opencv-python4.9.0.80 (安装方法: pip install opencv-python==4.9.0.80 -i https://pypi.tuna.tsinghua.edu.cn/simple/) ②.torch2.0.1 + torchvision0.15.2 + torchaudio2.0.2 (安装方法: pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118) ③.yolov8 ultralytics (安装方法: pip install ultralytics==8.2.48 -i https://pypi.tuna.tsinghua.edu.cn/simple/) ④.Onnxruntime-cpu1.16.1 (运行.onnx模型文件需要该依赖，此处安装cpu版本。安装方法: pip install onnxruntime-cpu==1.16.1 -i https://pypi.tuna.tsinghua.edu.cn/simple/) 2).计算机有GPU显卡---使用onnxruntime的gpu版本进行推理 --1.电脑主机需要安装如下软件 ①.Anaconda3(安装方法百度: Windows安装anaconda3 或参考 https://blog.csdn.net/zwLoneranger/article/details/138743242) ②.opencv4.7.0 (安装方法百度: Windows安装opencv) ③.FFmpeg4.2.7 (安装方法百度: Windows安装FFmpeg) ④.Cuda11.8 (安装方法百度: Windows安装Cuda) ⑤.Cudnn8.6.0 (安装方法百度: Windows安装Cudnn) --2.由于推理代码是使用python语言运行,所以需要在Python环境(如Python3.9/Anaconda3/Miniconda)中安装如下依赖库: ①.opencv-python4.9.0.80 (安装方法: pip install opencv-python==4.9.0.80 -i https://pypi.tuna.tsinghua.edu.cn/simple/) ②.torch2.0.1 + torchvision0.15.2 + torchaudio2.0.2 (安装方法: pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118) ③.yolov8 ultralytics (安装方法: pip install ultralytics==8.2.48 -i https://pypi.tuna.tsinghua.edu.cn/simple/) ④.Onnxruntime-gpu1.16.1 (运行.onnx模型文件需要该依赖，此处安装gpu版本。安装方法: pip install onnxruntime-gpu==1.16.1 -i https://pypi.tuna.tsinghua.edu.cn/simple/) 3).计算机有GPU显卡,并且是Nvidia的显卡---使用Nvidia的Tensorrt进行推理加速(速度大于onnx推理,是目前推理速度最快的方式) --1.电脑主机需要安装如下软件 ①.Anaconda3(安装方法百度: Windows安装anaconda3 或参考 https://blog.csdn.net/zwLoneranger/article/details/138743242) ②.opencv4.7.0 (安装方法百度: Windows安装opencv) ③.FFmpeg4.2.7 (安装方法百度: Windows安装FFmpeg) ④.Cuda11.8 (安装方法百度: Windows安装Cuda) ⑤.Cudnn8.6.0 (安装方法百度: Windows安装Cudnn) ⑥.Tensorrt8.5.1.7 (运行.engine模型文件需要该依赖。安装方法百度: Windows安装Tensorrt) --2.由于推理代码是使用python语言运行,所以需要在Python环境(如Python3.9/Anaconda3/Miniconda)中安装如下依赖库: ①.opencv-python4.9.0.80 (安装方法: pip install opencv-python==4.9.0.80 -i https://pypi.tuna.tsinghua.edu.cn/simple/) ②.torch2.0.1 + torchvision0.15.2 + torchaudio2.0.2 (安装方法: pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://d