基于智能相机的特征立体视觉交通监控系统

### 基于智能相机的特征立体视觉交通监控系统 #### 1. 引言 在交通监控场景中，对于车辆的准确计数、分类和速度测量至关重要。传统的基于单一PC的架构在处理高速行驶车辆的立体图像流时，面临着计算需求大、数据传输带宽要求高等问题。为了解决这些问题，我们采用了基于智能相机的分布式架构，结合特征提取和处理算法，实现了实时高效的交通监控系统。 #### 2. 算法描述 ##### 2.1 系统概述 本系统旨在为高速公路上的车辆提供高精度的计数、分类和速度测量解决方案。立体视觉技术能够提供场景的真实3D测量数据，可用于确定车辆的大小、类别和速度。考虑到系统的实时性要求，需要在算法复杂度和硬件需求之间找到平衡。 系统由安装在高速公路上方的两个智能相机和一个工业无风扇PC组成，通过标准的100Mbit以太网网络连接。智能相机利用CMOS传感器、FPGA和32位RISC处理器进行图像采集、特征提取，并将结果发送到PC。工业PC负责收集特征、进行特征匹配、3D反投影，并将得到的3D点分组为可跟踪的车辆。 以下是系统的主要组成部分和功能： | 组件 | 功能 | | ---- | ---- | | 智能相机 | 图像采集、特征提取 | | 工业PC | 特征匹配、3D反投影、车辆跟踪 | ##### 2.2 基于特征的立体重建 在立体视觉中，需要考虑相机系统校准和两幅图像之间匹配点的识别两个主要问题。这里假设已经使用标准方法完成了校准，重点关注匹配点的识别。 首先，对采集到的两幅图像进行校正，校正后的图像可以显著降低匹配的复杂度，因为左右图像中的对应点具有相同的垂直坐标。 - **Harris角点特征**：使用经典的Harris角点作为特征点。将左图像中的每个点与右图像中同一水平线上的点进行比较，设置最大视差以减少搜索空间。采用归一化互相关C来计算两个点周围方形窗口内像素值的相似度，公式如下： \[C = \frac{\sum_{(i,j)}(p_1(i, j) - \overline{p_1})(p_2(i, j) - \overline{p_2})}{\left\|\sum_{(i,j)}(p_1(i, j) - \overline{p_1})(p_2(i, j) - \overline{p_2})\right\|}\] 其中，\((i,j)\)是方形窗口W1和W2内点的索引，\(p_1(i, j)\)和\(p_2(i, j)\)分别是图像1和图像2中像素\((i, j)\)的强度，\(\overline{p_1}\)和\(\overline{p_2}\)是方形窗口W1和W2内的均值。使用“胜者全得”策略进行匹配，即当相关性在左右图像的同一水平线上所有计算的相关性中最大时，认为匹配有效，并对称检查确定的匹配在左图像中也给出最大相关性。 - **基于Canny边缘的特征**：由于某些车辆存在大面积平坦区域，Harris角点特征可能不足，因此引入基于Canny边缘的特征点。首先使用Canny边缘检测器检测两幅图像中的边缘，稍微修改算法以不检测水平边缘。然后逐行水平扫描校正后的立体图像对，为节省计算时间，扫描线间隔为5个像素。水平扫描线与检测到的边缘的每个交点定义为一个新的兴趣点。为了表征这些点，引入一个8维向量，由边缘强度\(r\)（Canny滤波器响应）、沿边缘的5像素长强度轮廓\(e\)以及交点左右3个像素的平均强度\(m_l\)和\(m_r\)组成。 对于每个假设的匹配，使用以下公式计算特征向量\(i\)和\(j\)之间的得分\(S\)： \[S = \alpha C(e_i, e_j) + \frac{\beta}{1 + |m_{r_i} - m_{r_j} + m_{l_i} - m_{l_j}|} + \frac{\gamma}{1 + |r_1 - r_2|}\] 其中，\(C(e_i, e_j)\)是两个边缘强度轮廓的归一化相关性，\(r_i\)、\(r_j\)是Canny响应，\(m_i\)、\(m_j\)是平均强度，\(\alpha\)、\(\beta\)和\(\gamma\)是经验设置的设计参数。最终匹配的方式与Harris特征相同，即当得分\(S\)在左右图像的同一极线上所有得分中最大时，认为匹配有效。 这两种类型的特征共同覆盖了所有感兴趣的对象（卡车、汽车、摩托车）。 ##### 2.3 3D点反投影、聚类和跟踪 - **3D点反投影**：匹配完成后，使用最小二乘法将图像投影反投影到世界坐标中，以获得3D点。假设已知道路的平面方程及其主轴，位于道路水平以上的3D点被认为属于车辆。 - **聚类**：使用最小生成树聚类算法将3D点聚合为车辆组。所有3D点构成一个无向图，图的顶点是3D点，每条边的权重由3D点之间的距离定义。构建最小生成树，使得每个点都连接到树，并且边权重之和最小。边的权重基于欧几里得距离，但由于车辆在平行于道路的方向上较长，使用各向异性距离，边的权重定义为： \[d^2 = A_x(x_1 - x_2)^2 + A_y(y_1 - y_2)^2 + A_z(z_1 - z_2)^2\] 其中，\(A_x\)、\(A_y\)和\(A_z\)是调整参数，以更重视平行于