自动驾驶中的传感器技术2——概述（2）-Camera

原创于 2025-07-26 16:01:50 发布 · 1.1k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶 #人工智能 #机器学习 #传感器 #camera #摄像头

自动驾驶中的传感器技术专栏收录该内容

30 篇文章

订阅专栏

2 Camera技术概述

自动驾驶中的摄像头技术是实现车辆环境感知和决策规划的关键组成部分。摄像头通过光学镜头和图像传感器捕捉周围环境的视觉信息，为自动驾驶系统提供丰富的数据支持。如下图所示，目前自动中涉及到的摄像头主要为以下几种：

前视窄角
前视宽角
后视
环视（前、后、左、右）
侧视（左后、右后）
侧视（左前、右前）
DMS驾驶员监控
OMS舱内监控

以上一般总共13个摄像头，在有的自动驾驶配置中，会将前视宽角升级为双目，从而提供相对较高的深度感知精度，特别是在近距离范围内，有助于车辆感知距离、估计障碍物的高度，并支持3D场景建模。另外与单目摄像头相比，双目摄像头无需依赖深度学习模型来估计距离，而是通过三角测距原理直接计算深度，从而减少了对庞大特征数据库的依赖。

2.1 基本原理

摄像头是一种采集波长范围为380nm到780nm的可见光进行工作的被动探测器，红外摄像头会探测到红外波范围。

摄像头的组成要素主要包括以下几个

棱镜组（Lens）
图像传感器（CIS Camera Imaging Sensor）
图像信号处理器（ISP Image Signal Processor）
串行器（Serializer）
电源管理芯片（PMIC）

光学透镜（Lens）：摄像头的前部透镜组，负责捕捉光学并将其聚焦在摄像头传感器上。可以通过对光学透镜组的设计对摄像头模组的技术参数进行调整，如FoV、焦距等。

图像传感器（CIS）：图像传感器是摄像头的核心组成部分，通常为一块芯片，它包括许多小的光敏元件，称为像素，每个像素负责测量特定区域的光强度。

光线捕捉：当光线穿过透镜并照射到图像传感器上时，像素将测量光线的强度，不同强度的光线创建了图像中不同部分的亮度和颜色；
数据处理：通过测量每个像素的光强度，图像传感器将光学信息转换为数字图像数据，这些数据可以表示为像素阵列，每个像素都有一个与其亮度和颜色相关的数据；
Overview of CIS 见下两图（X8D10）

图像处理器（ISP）：CIS器件控制，格式转换（RAW转YUV等），画质优化（原始图像修正、颜色管理、降噪、动态范围控制、清晰度锐利度提升、后处理、数字去抖等）。

具体算法释义如下

Horizontal Flip：做水平翻转
Test Pattern：ISP内部产生测试图像，ISP内部调试使用
Black Level Correction：黑电平矫正，黑电平是指图像数据为0时对应的信号电平，进行黑电平矫正的目的；一是由于sensor本身会存在暗电流，导致在没有光照进来的条件下pixel也有电压输出，不过这部分一般在sensor端就已经处理掉了，还有一个原因是因为sensor进行模数转换时精度不够，以8bit为例，每个pixel有效范围是0-255，sensor可能无法将接近于0的信息转化出来，由于人眼特性（对暗处细节比较敏感，）所以sensor厂商一般在转换时会加一个固定的偏移量使像素输出在5（非固定值）—255之间，然后传输在ISP端再做一个减法，将5（非固定值）变为0
Bad Pixel Correction：坏点消除
Lens Shadow Correction：镜头阴影矫正（镜头缺陷、光通量不均匀）
AF Statistics in Raw：AF统计信息
CFA Interpolation：去马赛克，将RAW转成RGB
D65 White Balance：做标定，使得在D65下面，使得白色的物体呈现白色
AWB Statistics：做完D65 White Balance后可以做AWB 统计信息
AWB：AWB算法根据色温值做白平衡矫正
CCM：3×3的颜色矩阵，目的是让成像系统颜色符合人眼睛看到的颜色。AWB已经将白色校准了，CCM就是用来校准白色除白色以外其他颜色的准确度的，用一个3X3的CCM矩阵来校准, 其中每一列系数r1+g1+b1等于一个恒定值1。Ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest分析来做分析参考
Gamma：Gamma矫正，原因是人眼睛的非线性特性，亮度发生变化时，人眼感受到的不是成倍的关系
CSC：RGB到YUV色彩空间转换
AE Statistics：AE统计信息
2DNR：空间域降噪
3DNR：时间域降噪
AF Statistics in YUV：AF 统计信息
Local Tone Mapping：图像每一个局部区域都足够清晰
Sharpness：锐化让图像变得更清晰
WDR：宽动态算法让图像的动态范围变得更大
Post-Process：后处理
LDC：镜头畸变矫正
De-shaking：防抖

2.2 技术特点

在自动驾驶领域，有几种不同类型的摄像头，用于不同的用途

单目摄像头：单目摄像头只有一个透镜和一个图像传感器，它们通常用于捕捉前方的道路图像，但缺乏深度感知能力。

立体摄像头：立体摄像头由两个完全一样的摄像头组成，模拟人类的双眼视觉，这种摄像头能够提供深度信息，有助于识别距离和三维结构。大疆“激目”系统，是将一对大疆车载惯导立体双目，一个长焦单目以及一个激光雷达创新组合起来，形成车规级集成一体式传感器。

鱼眼摄像头：鱼眼摄像头使用广角透镜捕捉大范围的图像，适用于全景感知和环境监测。目前也出现了超级鱼眼摄像头，可以将环视侧视摄像头二合一。

红外摄像头：红外摄像头能够捕捉红外光谱范围的图像，适用于夜间和低光环境下的感知。

车载摄像头、手机摄像头、工业相机综合对比

2.3 工程实践概述

工艺需求：耐高温，车载摄像头需在-40℃~85℃C范围内都能正常工作，且能适应温度的剧烈变化；抗震，车辆在不太平坦的路面行驶会产生较强的震动，因此车载摄像头必须能抗各种强度的震动；防磁，车辆启动时会产生极高的电磁脉冲，需要极高的防磁性能；防水，载摄像头密封要非常严实，满足在雨水中浸泡数日仍可正常使用；使用寿命，使用寿命至少为8~10年才能满足要求；
技术参数：探测距离，水平视场角，垂直视场角，分辨率（当摄像机摄取等间隔排列的黑白相间条纹时，在监视器（比摄像机的分辨率要高）上能够看到的最多线数，当超过这一线数时，屏幕上就只能看到灰蒙蒙的一片，而不再能分辨出黑白相间的线条。)
最低照度：即图像传感器对环境光线的敏感程度，或者说是图像传感器正常成像时所需要的最暗光线。它是当被摄物体的光照逐渐降低时，摄像机的视频信号电平低于标准信号最大幅值一半时的景物光照度值。
高动态：车辆行驶速度快，摄像头面对的光线环境变化剧烈且频繁，要求摄像头的CMOS具有高动态特性；摄像机拍摄的同一个画面内，能正常显示细节的最亮和最暗物体的亮度值所包含的那个区间。动态范围越大，过亮或过暗的物体在同一个画面中都能正常显示的程度也就越大。

低噪点：在光线较暗时能有效抑制噪点，特别是要求侧视和后视摄像头即使在晚上也能清楚地捕捉图像。

RGGB vs RCCB：

CIS（CMOS图像传感器）在汽车应用中广泛使用了多种颜色滤光片阵列（CFA），以满足不同场景下的图像处理需求。以下是对CIS中提到的几种CFA（如RGGB、RCCB、RYYCy等）的详细分析：

RGGB RGGB是一种传统的CFA，由红（R）、绿（G）、蓝（B）三个像素组成，其中绿色像素的数量是红色和蓝色的两倍。这种设计是为了更好地模拟人眼对亮度的感知，提供良好的色彩还原能力。然而，在低光条件下，RGGB的灵敏度较低，因此在需要高灵敏度的汽车应用中，如ADAS（高级驾驶辅助系统）和自动驾驶中，RGGB并不是首选。

RCCB RCCB是一种非RGB CFA，其结构为红（R）、清（C）、清（C）、蓝（B）。通过将绿色像素替换为透明像素，RCCB提高了图像传感器的灵敏度，尤其是在低光条件下。然而，这种设计的缺点是牺牲了色彩信息，导致红色和黄色交通信号灯的区分能力较差。尽管如此，RCCB在某些汽车应用中仍然被广泛使用，例如特斯拉就采用了RCCB传感器。

RYYCy RYYCy是一种非RGB CFA，其结构为红（R）、黄（Y）、黄（Y）、青（Cy）。这种设计通过增加黄色和青色像素，提高了图像传感器的灵敏度，尤其是在低光条件下。RYYCy的一个重要优势是它能够更好地区分黄色和白色斑马线，这对于自动驾驶系统来说非常重要。然而，RYYCy也存在一个问题，即红色和黄色交通信号灯的区分能力较差。为此，一些公司如Indie Semiconductor开发了专门的图像信号处理器（ISP），通过算法优化解决了这一问题。

RCCG RCCG是一种非RGB CFA，其结构为红（R）、清（C）、清（C）、绿（G）。与RCCB类似，RCCG通过增加透明像素来提高图像传感器的灵敏度。然而，RCCG在蓝色通道的性能相对较差，因此在某些应用中可能不如RCCB。尽管如此，RCCG在低光条件下仍然具有较好的表现。

RCCC RCCC是一种非RGB CFA，其结构为红（R）、清（C）、清（C）、清（C）。这种设计通过增加透明像素，进一步提高了图像传感器的灵敏度。然而，RCCC的缺点是只能准确识别红色，无法再现人类可识别的颜色图像。因此，RCCC在需要高色彩还原能力的应用中并不常用。

RGBIR RGBIR是一种结合了RGB和红外（IR）通道的CFA，适用于需要同时处理可见光和红外光的场景。例如，在夜间驾驶或恶劣天气条件下，RGBIR可以提供更好的图像质量。

RCCB、RYYCy和RCCG的改进 为了克服RCCB、RYYCy和RCCG在红色和黄色交通信号灯区分能力上的问题，一些公司开发了新的图像处理技术。例如，Indie Semiconductor的iND880xx系列通过引入边缘调整的红色敏感度光谱，显著提高了红色和黄色交通信号灯的区分能力。此外，一些ISP还通过算法优化，如黑电平补偿、缺陷像素检测与校正等，进一步提高了图像质量