【图像超分辨率】ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic

最新推荐文章于 2025-03-20 11:17:53 发布

刘芋儿

最新推荐文章于 2025-03-20 11:17:53 发布

阅读量3.8k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：超分辨率

本文链接：https://blog.csdn.net/weixin_43514766/article/details/119204003

ClassSR是一个结合分类和超分辨率的通用框架，通过数据特性加速SR网络。它使用Class-Module对图像区域进行分类，然后用SR-Module中不同能力的网络处理，减少计算量。实验证明，ClassSR能帮助多个现有SR方法在保持图像质量的同时，大幅减少FLOPs。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

CVPR2021: ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic 阅读笔记

在这里插入图片描述

Paper: ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic
Code: https://github.com/Xiangtaokong/ClassSR

Abstract

我们的目标是加速在大型图像（2K-8K）上的超级分辨率（SR）过程。
在实际使用中，大图像通常被分解成小的子图像。基于这种处理方式，我们发现不同的图像区域有不同的修复难度，可以由具有不同能力的网络来处理。直观地说，光滑的区域比复杂的纹理更容易进行重建。为了利用这一特性，我们可以采用适当的SR网络来处理分解后的不同子图像。在此基础上，我们提出了一个新的解决方法–ClassSR，它在一个统一的框架中结合了分类和超分辨率。特别的是，它首先使用一个Class-Module将子图像按照修复难度分为不同的类别，然后应用一个SR-Module对不同的类别进行SR。Class-Module是一个传统的分类网络，而SR-Module是一个network container网络容器，由to-be-accelerated SR network和其简化版本组成。我们还引入了一种新的分类方法，用两种损失–类损失Class-Loss和平均损失Average-Loss–来产生分类结果。经过联合训练，大部分子图像将通过较小的网络，因此计算成本可以大大降低。实验表明，我们的ClassSR可以帮助大多数现有的方法（如FSRCNN、CARN、SRResNet、RCAN）在DIV8K数据集上节省高达50%的FLOPs。这个通用的框架也可以应用于其他低级别的视觉任务。

Introduction

在本文中，我们研究了如何在 "大 "输入图像上加速SR算法，这些图像将被上采样到至少2K的分辨率（2048×1080）。而在现实世界的使用中，智能手机和电视显示器的图像/视频分辨率已经达到了4K（4096×2160），甚至8K（7680×4320）。由于最近的SR算法是建立在CNN的基础上，内存和计算成本将随着输入尺寸的增加而呈quadratically增长。因此，有必要将输入分解成子图像，并不断加速SR算法，以满足在真实图像上实时实施