1. 研究背景与问题
- 核心问题:基于扩散的密集预测模型(如深度估计、光流、语义分割等)在跨域测试时性能显著下降。
- 现有局限:传统域适应(DA)方法依赖对抗训练或自监督学习,需额外训练成本;扩散模型虽在生成任务中表现优异,但针对密集预测的域适应研究不足。
- 关键观察:
- 扩散模型的曝光偏差(Exposure Bias) 与域偏移(Domain Shift) 在噪声预测统计量上表现相似(图2)。
- 域信息主要与图像的幅度分量相关,而曝光偏差导致的噪声统计差异与域偏移高度关联(图2b-c)。
- 扩散模型的噪声预测统计量能有效捕捉不同域的条件图像差异(图5)。
2. 核心方法:Domain Noise Alignment (DNA)
提出训练免费的域噪声对齐(DNA)机制,通过调整扩散采样过程中的噪声统计量实现域适应,无需微调模型。