qianxun

之前做过yolov3、yolov4+opencv进行检测，yolov5出道了v6版本的时候，开始支持dnn模块，所以下载试试，环境：opencv4.5.4 CUDA:10.2 QT:5.9yolov5大家可以从git上clone，这里使用的是yolov5s.pt模型。给他转换为onnx cap>>img; vector<Scalar> color; srand(time(0)); for (int i = 0; i...

这是 V2 的核心创新之一。的核心优势，并针对模型精度、训练效率和部署灵活性进行了全方位的显著提升，再次刷新了实时检测的SOTA（State-of-the-Art）水平。为模型提供了更丰富、更稳定的监督信号，尤其是在处理不同尺度的目标时，提升了训练的鲁棒性和最终精度。在保持甚至超越实时速度的前提下，显著提升在各种场景下的检测精度（平均精度均值 - AP）。显著加速了训练收敛速度（是训练提速的关键），并提升了检测精度，尤其是对小目标的检测能力。上都实现了领先的精度-速度权衡，验证了其卓越的部署灵活性。

Qualcomm的Snapdragon Neural Processing Engine（SNPE）是一款高效的神经网络推理引擎，支持在CPU、GPU、DSP和NPU等多种后端上运行。通过

前段时间写了一篇damoYolo的训练教程，同时也对自己的数据集进行了训练，虽然效果确实不是很好，但是damoyolo的一些思想和网络结构啥的还是可以借鉴使用的，此次将damoyolo的RepGFPN结构掏出来放到v5的NECK中，测试一下对本人的数据集(小目标)效果比v5要好，大概提升2个点左右。后面已经很少搞这种的改进啥的了，都去搞边缘端部署了。具体场景如下：(不知道大家能不能看到0.0)对比正常的yolov5是检测不出来的 但是误检也是比较高的。

单应性矩阵（Homography）是一个3x3 的变换矩阵，用于描述两个平面之间的投影变换。在计算机视觉中，它通常用于将一张图像中的点映射到另一张图像中的对应点，尤其是在两张图像拍摄的是同一个平面但视角不同的情况下。

OpenCV提供了大量的计算机视觉、图像处理和模式识别的算法，包括实时图像处理、视频分析、特征检测、目标跟踪、人脸识别、物体识别、图像分割、光流法、立体视觉、运动估计、机器学习和深度学习等。OpenCV中的深度学习模块（DNN）只提供了推理功能，不涉及模型的训练，支持多种深度学习框架，比如TensorFlow，Caffe,Torch和Darknet。DNN模块提供了内建的CPU和GPU加速，无需依赖第三方库，若项目中之前使用了OpenCV，那么通过DNN模块可以很方便的为原项目添加深度学习的能力。

借助 Qualcomm® AI Engine Direct，用户可以在后端提供的功能之间进行适当的权衡 以及库大小和内存利用率方面的占用空间。Qualcomm® AI Engine Direct 架构采用模块化设计，可实现软件中的清晰分离 对于不同的硬件核心/加速器，例如 CPU、GPU 和 DSP，指定为 后端。凭借优化的网络加载和异步执行支持 Qualcomm®AI Engine Direct 可提供高度 机器学习框架和应用程序加载和执行网络图的高效接口 他们想要的硬件加速器。

借助 Qualcomm® AI Engine Direct，用户可以在后端提供的功能之间进行适当的权衡 以及库大小和内存利用率方面的占用空间。Qualcomm® AI Engine Direct 架构采用模块化设计，可实现软件中的清晰分离 对于不同的硬件核心/加速器，例如 CPU、GPU 和 DSP，指定为 后端。凭借优化的网络加载和异步执行支持 Qualcomm®AI Engine Direct 可提供高度 机器学习框架和应用程序加载和执行网络图的高效接口 他们想要的硬件加速器。

Qualcomm®AI Engine Direct架构旨在提供统一的 API 以及模块化和可扩展性 每个加速器库构成了全栈人工智能解决方案的可重用基础， QTI 自有框架和第三方框架（如采用 Qualcomm AI Engine Direct 的 AI 软件堆栈图所示）。Qualcomm® AI Engine Direct 是 Qualcomm Technologies Inc. (QTI) 用于 AI/ML 用例的软件架构 关于 QTI 芯片组和 AI 加速核心。代码写的太杂乱，后续整理完毕上传代码。

第二步过滤不需要的运动，在最后一步重建稳定的视频。从最开始的光流到meshflow再到陀螺仪，，，，哎路都块走完了。光学视频稳定：在这种方法中，不是移动整个摄像机，而是通过镜头的移动部分来实现稳定。这种方法使用了一个可移动的镜头组合，当光通过相机的镜头系统时，可以可变地调整光的路径长度。github上很少又meshflow的代码，大部分也是py的代码，一小部分是c++的，但是很多也跑不通，，不行只能自己复现了。同样，在军事应用中，无人机在侦察飞行中捕获的视频也需要进行稳定，以便定位、导航、目标跟踪等。

ctypes 是 Python 的外部函数库。它提供了与 C 兼容的数据类型，并允许调用 DLL 或共享库中的函数。可使用该模块以纯 Python 形式对这些库进行封装。之前接到一个任务就是用python调用so库，也就是python调用c++so库，也是第一次做这个，而且要的还很急，导致我也很忙碌，很多之前做的事请都丢下了。下面就介绍了ctypes调用so的简单例子。ctypes加载yolov5.so。

You Only Look Once  神经架构搜索（YOLO-NAS）是最新最先进的（SOTA）实时目标检测模型。在 COCO 数据集上进行评估并与其前身 YOLOv6 和 YOLOv8  相比，YOLO-NAS 以更低的延迟实现了更高的 mAP 值。接下来我们讲yolo-nas部署到rk中去玩玩。YOLO-NAS 作为 Deci 维护的。

与SteadyFlow相比，其计算稠密光流并提取出所有像素位置的pixel profiles信息用于稳像，而我们提出的MeshFlow方法在计算性能上要更好。第二步过滤不需要的运动，在最后一步重建稳定的视频。这种方法使用了一个可移动的镜头组合，当光通过相机的镜头系统时，可以可变地调整光的路径长度。github上很少又meshflow的代码，大部分也是py的代码，一小部分是c++的，但是很多也跑不通，，不行只能自己复现了。中，无人机在侦察飞行中捕获的视频也需要进行稳定，以便定位、导航、目标跟踪等。

因此，高昂的成本导致数据集的数据量较小，也意味着有监督学习的深度估计方式不适用于大规模的工业场景。随着深度学习技术的发展，该范式已经成为了估计单目图像的深度信息的一种解决方案。早期的深度估计方法大多是有监督的，即要求数据集包含单目图像和对应的深度真值支撑网络模型训练。根据单张图像估计深度信息是计算机视觉领域的经典问题，也是一项具有挑战的难题。由于单目图像的尺度不确定，传统方法无法计算深度值。对于距离的计算，常用的算法就是单目测距，但传统算法有时候并不是很准确，因此需要深度学习去进行深度估计。

２）部分能提供结构化文本的特定场景识别服务如身份证识别等，能保留识别文字结构。但这些应用还存在一些明显缺点：１）通用识别服务对图像要求高，通常针对扫描文档，要求输入图像背景干净、字体简单且文字排布整齐，对自然场景图像中的文字识别效果差；３）特定场景文字识别，识别场景较为单一，如汉王ＯＣＲ的特定场景只提供身份证识别等，无常见场景识别的功能整合；光学字符识别（Optical Character Recognition, OCR）是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。

至于为什么采用红外摄像机，是因为系统要求能够在全部工况环境下(包括白天、夜晚、顺光、逆光等)工作，能适应各种光源环境，即视在夜间、逆光等情况下，也能提供高品质的。首先挖掘出人在疲劳状态下的表情特征，然后将这些定性的表情特征进行量化，提取出面部特征点及特征指标作为判断依据，再结合实验数据总结出基于这些参数的识别方法，最后输入获取到的状态数据进行识别和判断。通过一个面向驾驶员的红外摄像头来实时监测头部、眼部、面部、手部等细节，可以从眼睛闭合、眨眼、凝视方向、打哈欠和头部运动等检测驾驶员状态。

上图源自Snapdragon Neural Processing Engine SDK Reference Guide，它展示了一个Deep Learning Neural Network在SNPE环境下的Workflow。把.tf/.tflite/.onnx/caffe/caffe2/.pt等网络预训练模型转换为一个能够被SNPE加载的DLC文件。后面具体内容慢慢再写，因为我也才接触snpe一个星期。使用SNPE runtime加载并运行模型。准备模型需要的输入数据。

转眼间，自DETR被提出已经过去了2年了，如今又迎来了2023年，可以说，这是Transformer框架在CV领域发力的第3个年头了。时至今日，对Transformer的质疑声越来越小了，它的强大得到了越来越多、越来越广泛的认可。可以说，如今的CV领域，Transformer已经和CNN是各分半壁江山了。

RESA还提出了一种类似的方法，通过反复的特征转移来扩大感受野。除了使用不同颜色模型的特征和边缘提取方法外，有方法还提出使用投影几何和逆透视映射来利用车道线在现实世界中通常平行的先验信息。尽管许多方法尝试了不同的车道线传统特征，但在复杂的场景中，来自低级图像处理的语义信息仍然相对不足。Lane检测是自动驾驶和高级驾驶员辅助系统（ADAS）的基本组成部分，用于区分和定位道路上的车道线。在实践中，车道线检测算法被大量执行，以利用受约束的车辆计算设备为下游任务提供即时感知结果，这需要快速的检测速度。

所以需要将yolov8det目标检测部署在rk3568里面。

这段时间一直在搞rk3568，所以需要将yolov8seg部署在rk3568里面。

上图源自Snapdragon Neural Processing Engine SDK Reference Guide，它展示了一个Deep Learning Neural Network在SNPE环境下的Workflow。后面具体内容慢慢再写，因为我也才接触snpe一个星期。等网络预训练模型转换为一个能够被SNPE加载的DLC文件。量化模型，以便能在Hexagon DSP上运行（可选项）。使用SNPE runtime加载并运行模型。准备模型需要的输入数据。

数据集格式--具体格式和之前训练的yolov5_obb一致。

1、使用yolov8s训练(2000轮，真就一直训到了2000轮，不会象是yolov5一样收敛了就不训了)第一次map50=0.915，第一次训练依旧是2000轮，依旧是训练跑完2000轮了，map=0.91,map相差了0.5个点。(训练结果被我删除了，因为上面那个错误，然后我把run文件夹全部删除了。可以看到s模型640得map已经达到了44.9，v8n得map也已经达到了37.3，很强了，但是实际上是怎么样呢，我使用个人数据集进行了测试，本人得数据集在偏向于小目标，只有一类。

yolov8真的来了！U神出品的yolov8，虽然还没正式公布，但是已经放出代码了。代码有着很强烈的yolov5风格。学的速度还跟不上别人更新的速度，咋玩呀！先看看yolov8seg、det的炼丹。再看看map：：都快卷秃噜皮了。yolov8s已经达到了0.6ms了。先看看ONNX图：这个是带NMS的。1、yolov8是无锚框了。真的快要卷秃噜皮了！学习的速度跟不上别人更新的速度。训练结果：我是训练了2次；第一次map50=0.915 第二次0.911。参数量进行对比：V8s的参数量明显是比v5s大的。

yolov8真的来了！U神出品的yolov8，虽然还没正式公布，但是已经放出代码了。代码有着很强烈的yolov5风格。学的速度还跟不上别人更新的速度，咋玩呀！先看看yolov8seg、det的炼丹。再看看map：：都快卷秃噜皮了。yolov8s已经达到了0.6ms了。先看看ONNX图：这个是带NMS的。1、yolov8是无锚框了。2、增加了C2F结构。

前段时间写了一篇damoYolo的训练教程，同时也对自己的数据集进行了训练，虽然效果确实不是很好，但是damoyolo的一些思想和网络结构啥的还是可以借鉴使用的，此次将damoyolo的RepGFPN结构掏出来放到v5的NECK中，测试一下对本人的数据集(小目标)效果比v5要好，大概提升2个点左右。对比之下参数量和FLOPs确实有增加，但同时map也相应地增加了，这种的增加不大，还是可以接受的。damoyolo的整体结构我们是无法看到的因为他的主干网络是。里面是txt文件，RepGFPN是可以看到的。

前段时间yolov7的推出引起一篇热潮，接着rmyolo紧跟潮流，后面阿里的达摩院也推出了自己的yolo算法，怎么说呢，damoyolo推出依旧不少天了，现在才写博客，因为damoyolo给我的体验感不是很好。

基本思想：写了一个简单的c#调用c++的dll库，完成yolov5检测图片的分类一、创建一个c++工程，详细的构建和配置环境就不详细累述了，贴代码吧，导入opencv和ncnn库即可，因为需要考虑使用C#调用，所以改的代码尽量迎合C#调用的风格main.cpp#include "connect.h" int main(int argc, char** argv){ cv::Mat image = cv::imread("F:\\sxj\\predictio。同时，也有使用QT+C++得，QT做界面也不错。

目前在目标检测方面有着众多的检测框架，比如两阶段的FasterRcnn、以及yolo系列的众多模型。yolo系列在实际中用的最多，一方面性能确实不错，另一方面具有着较多的改进型系列。今天我们主要使用的yolov5系列。先看下单幅切图检测的效果：(这里我并没有写py版本的切图合并最后nms的代码，我直接用c++写的)整体代码等我整理完成考虑上传(毕竟白嫖不讲武德的人太多)。看下C++的效果：可以看到原图的尺寸是6158*3414的大小。训练结果：不要在意map这些细节我们先打通步骤，熟悉流程。

在众多文章中有对小目标进行改进的比如添加一个检测头(四个检测头，对一些数据集确实有一定的作用)，再者一些博客有介绍多添加各种注意力机制或者一些模块改进，当然了也有一些人评判添加注意力机制的，认为它作用甚小，甚至有人认为他只是水水论文作用，对此我只是呵呵一笑哦，实践才是检测真理的唯一标准，不能因为一个注意力在你得数据集上不行就否定了整个注意力，ppyolo系列中还明确的表示了添加了注意力机制了。目前在目标检测方面有着众多的检测框架，比如两阶段的FasterRcnn、以及yolo系列的众多模型。

在美团刚刚发出yolov6，AB大神就带着yolov7来了。。。。。这速度是真快。。在 5-160 FPS 范围内速度和精度超过所有已知目标检测器。在 后不到两个星期，提出 YOLOv4 的团队就发布了更新一代的版本。YOLOv7 的论文被提交到了预印版论文平台 arXiv 上，其三位作者 Chien-Yao Wang、Alexey Bochkovskiy 和 Hong-Yuan Mark Liao 是 YOLOv4 的原班人马。

前面我们说到了如何基于自己数据集训练，感兴趣的小伙伴可以去看下。。。我们得到了pt文件之后需要将他转换为ONNX，之后在对ONNX进行相应的部署，能完整的部署的前提是我们需要导出完整的ONNX。.........

美团刚刚发出yolov6，AB大神就带着yolov7来了。。。。。这速度是真快。。在 5-160 FPS 范围内速度和精度超过所有已知目标检测器。在 后不到两个星期，提出 YOLOv4 的团队就发布了更新一代的版本。本周三，YOLOv7 的论文被提交到了预印版论文平台 arXiv 上，其三位作者 Chien-Yao Wang、Alexey Bochkovskiy 和 Hong-Yuan Mark Liao 是 YOLOv4 的原班人马。相对于其他类型的工具，YOLOv7-E6 目标检测器（56 FPS V1

美团刚刚发出yolov6，AB大神就带着yolov7来了。。。。。这速度是真快。。在 5-160 FPS 范围内速度和精度超过所有已知目标检测器。在 后不到两个星期，提出 YOLOv4 的团队就发布了更新一代的版本。本周三，YOLOv7 的论文被提交到了预印版论文平台 arXiv 上，其三位作者 Chien-Yao Wang、Alexey Bochkovskiy 和 Hong-Yuan Mark Liao 是 YOLOv4 的原班人马。相对于其他类型的工具，YOLOv7-E6 目标检测器（56 FPS V1

yolov6刚出来得那会我也跑了下，问题实在太多了，各种得bug，就暂时停了会，后面有时间了在看看就重新git下跑了跑。据说YoloV7也出来是AB大神团队出品得，不是某个人所谓得YoloV7....GitHub - meituan/YOLOv6: YOLOv6: a single-stage object detection framework dedicated to industrial applications.YOLOv6: a single-stage object detection fram

之前下载了YoloV6s.pt 跑了下，虽然有误检但是置信度还是挺高的，所以打算跑一下自己的数据集我的数据集只有两类，当我加载我的数据集的时候问题就出现了。。。。问题1：先看官方的数据集格式。。。但是他会给你一直报错。。。。。 找找原因吧，一步一步找，，蛋疼。。。他这个多写了osp.dirname(img_dir)，，，来我们打印下。。 这肯定给你报错呀，，，因为你的路径就是错的呀，所以修改如下。。 再看看。。。 ok! 没问题了。。。。 看下数据集格式：CiWaData| t

pointnet的基于网上现有的只有基于tf的部署也是那种将框架下载下来基于C++部署，现在提供另外一种部署方式C++调用python的部署方式。网上很多关于点云得部署也有，有基于Tensorrt得部署。目前我们来尝试最简单的部署。。。首先我们下载pointnet代码：PointNet: PointNet+WIN10+训练与测试_Mr曲末寒的博客-CSDN博客https://blog.csdn.net/zhangdaoliang1/article/details/124712630 接下来我们使用C++调用

github: fxia22/pointnet.pytorch: pytorch implementation for "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation" https://arxiv.org/abs/1612.00593 (github.com)数据集下载：https://shapenet.cs.stanford.edu/ericyi/shapenetcore_partann

因为在6.0上做的了一些东西，所以将6.0得网络模型画了出来，之前也画过5.0的网络模型，有兴趣的小伙伴可以看下。yolov5s-5.0网络模型结构图_zhangdaoliang1的博客-CSDN博客_yolov5s模型结构看了很多yolov5方面的东西，最近需要yolov5得模型结构图，但是网上的最多的是大白老师的，但是大白老师的yolov5得模型结构图不知道是哪个版本得，肯定不是5.0和6.0版本得。参考了大白老师得模型结构图和其他大佬的模型结构图，以及参考了yolov5得onnx。画出了以下得结构