BEVFusion论文阅读

研究问题

将摄像头特征投影到激光雷达的点云中会丢失摄像头特征的语义密度，从而削弱了这些方法的效果，尤其是在面向语义的任务（如3D场景分割）中。提出了 BEVFusion，一种高效且通用的多任务多传感器融合框架。在共享的鸟瞰视角（shared Bird’s-Eye View, BEV）表示空间中统一多模态特征，能够很好地保留几何和语义信息。

通过改进的 BEV 池化技术，分析并优化了视图变换中的关键效率瓶颈，将延迟降低了超过 40 倍。BEVFusion 本质上与具体任务（task-agnostic）无关，几乎无需结构性改动即可无缝支持不同的 3D 感知任务。在 nuScenes 基准测试中，它确立了新的SOTA，在 3D 目标检测任务中实现了 1.3% 的 mAP 和 NDS 提升，以及在 BEV 地图分割任务中实现了 13.6% 的 mIoU 提升，同时计算成本降低了 1.9 倍。

前置知识

自动驾驶系统配备了多种类型的传感器。例如，Waymo 的自动驾驶车辆配备了 29 个摄像头、6 个雷达和 5 个激光雷达（LiDAR）。不同的传感器提供了互补的信号：例如，摄像头捕获丰富的语义信息，激光雷达提供精确的空间信息，而雷达则能够即时估算速度。因此，多传感器融合对于实现准确且可靠的感知至关重要。

不同传感器的数据本质上属于完全不同的模态：例如，摄像头以透视视角捕获数据，而激光雷达以 3D 视角捕获数据。为了解决这种视角差异，我们需要找到一种适合多任务、多模态特征融合的统一表示方法。由于 2D 感知领域的巨大成功，一个自然的想法是将激光雷达点云投影到摄像头视角中，并使用 2D 卷积神经网络（CNN）处理生成的 RGB-D 数据