2403.16370v1.pdf

在当前的深度学习领域，全景语义分割是计算机视觉技术的一项重要研究课题，它旨在将图像中的每一个像素点都分配一个语义标签。随着研究的深入，全景语义分割模型在处理大规模场景时面临了诸多挑战，如计算资源的限制和所需标注数据的缺乏。本文介绍的GoodSAM系统是一个创新的尝试，旨在通过Segment Anything Model（SAM）来弥合领域和容量之间的差距，并实现一种对失真敏感的全景语义分割。 SAM是最近新兴的一种模型，它展示出惊人的零样本实例分割能力。然而，将SAM的能力迁移到全景语义分割任务中，仍存在一些难题。首先是SAM无法提供语义标签，这对于学习精准的语义分割模型至关重要。SAM作为一个大模型，其容量巨大，这在计算资源有限的情况下难以直接利用。 GoodSAM系统通过融合SAM提供的实例掩码和边界信息，结合教师模型的分割预测结果，获得了可靠的集成预测结果。以此为基础，GoodSAM能够高效地将教师模型的多级特征知识传递给学生模型，实现知识适应。此外，GoodSAM还引入了一个多级知识适应（MKA）模块，该模块专为学生模型设计，用于学习紧凑的模型结构。 在两个基准测试上进行的广泛实验表明，GoodSAM系统在不使用任何标注数据的情况下，性能显著优于现有的最先进方法。即使是参数量只有3.7M的轻量级模型，GoodSAM也能够达到与最先进方法相当的表现。这一点非常重要，因为它降低了对大量计算资源的需求，使得该系统在实际应用中更具可行性和扩展性。 此外，GoodSAM系统还提出了一个新颖的问题，即如何有效地将SAM的多级特征知识转移给紧凑的学生模型，以学习全景语义分割。考虑到全景语义分割的复杂性，尤其是图像失真的问题，GoodSAM系统提出了一个解决方案，通过整合多源信息并利用集成学习技术提高模型的准确度和泛化能力。 GoodSAM系统在全景语义分割领域提供了一种新的思考方式，它不仅展示了如何将前沿技术适应到特定任务中，还揭示了大型模型向小型模型迁移知识的潜力。这种知识迁移不仅限于语义分割，还能推广到其他计算机视觉任务中，具有广泛的应用前景。