【论文速看】DL最新进展20241013-图像超分、去噪、Transformer

【图像超分、去噪】

[ACM MM 2024] GRFormer: Grouped Residual Self-Attention for Lightweight Single Image Super-Resolution

论文链接：https://arxiv.org/pdf/2408.07484

代码链接：https://github.com/sisrformer/GRFormer

先前的研究表明，减少基于Transformer的单图像超分辨率（SISR）模型（例如SwinIR）的参数开销和计算量通常会导致性能下降。本文提出了GRFormer，一种高效且轻量级的方法，不仅减少了参数开销和计算量，还大大提高了性能。GRFormer的核心是分组残差自注意力（GRSA），专门针对两个基本组件。首先，它引入了一种新颖的分组残差层（GRL），以取代自注意力中的查询、键和值（QKV）线性层，旨在同时有效地减少参数开销、计算量和性能损失。其次，它整合了一个紧凑的指数空间相对位置偏差（ES-RPB），作为原始相对位置偏差的替代，以提高表示位置信息的能力，同时进一步最小化参数数量。广泛的实验结果表明，GRFormer在 × 2 ×2