神经图像评估

前言

图像质量和美观性量化一直是图像处理和计算机视觉领域长存问题。技术质量评估是测量图像在像素级别损坏，如噪声、模糊和压缩伪影等，美观性评估是捕捉图像中情感和美感在语义级别特征。最近用人类标记数据训练的深度卷积神经网络 (CNN) 已被用于解决特殊图像（如景观）的图像质量主观性。但这些方法通只简单将图像分低/高质量两类，适用范围较窄。我们所提方法可预测评分发布。这样可得更准确图像质量预测以接近真实评分，也更适一般图像。

“NIMA:Neural Image Assessment”论文引入一深度CNN，通训练它可判一般用户认为哪些图像看着不错（技术性），哪些图像有吸引力（美观性）。得益于最先进深度物体识别网络的成功，NIMA可理解一般类别物体而不管变化多少。我们所提网络能为图像打接近人类感知水平可靠分数且还能用于各种需大量劳动力任务和主观任务，如智能照片编辑、优化视觉质量以提用户参与度或在成像通道最大程度减少感知视觉错误。

背景

通常图像质量评估分全/无参考两方法。存可作参考“理想”图像用PSNR、SSIM等图像质量指标。参考图像不可用即“盲目”（无参考）靠统计模型预测图像质量。这两种方法主目标是预测与人类感知极接近质量分数。用深度CNN进行图像质量评估，权重通过在与物体分类相关数据集（如ImageNet）上训练得到初始化，然后在带注解数据上针感知质量评估任务微调。

NIMA

典型美观性预测方法仅将图像分低/高质量。这忽略一事实，即训练数据中每图像都与人类评分直方图关联而非简单二值评分。评分直方图是图像整体质量指标，亦所有打分平均数。方法中NIMA模型非简将图像分低/高质量或进行回归得平均分，而为任给图像生评分分布 - 分数范围1到10，NIMA向每可能分数分配可能性值。这也与训练数据通捕获方式更一致且与其它方法对比时，我们方法更好预测人类偏好（详解参阅论文）。

随后可用NIMA矢量分数各函数（如平均值）对照片美观性排名。下示为NIMA对一些测试照片排名，这些照片来自美学视觉分析 (AVA) 数据集大规模数据库。摄影比赛中每AVA照片平均由200人评分。训练结束后NIMA对这些照片美观性排名与人类打分者平均分极接近。我们发现NIMA在其它数据集表现同很出色，预测质量分数接近人类评分。

用NIMA对AVA数据集一些带“风景”标签照片排名。每图像下方所示预测NIMA（和真实）分数
[外链图片转存失败(img-3gjfB27V-1569238417082)(https://img-blog.csdn.net/20180112093912117?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvenNwX2FuZHJvaWRfY29t/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)]
NIMA分数也可用于比较主题相同、进行各变形图像质量。下例图像是TID2013测试集一部分，包各类型和级别变形。

用NIMA对TID2013数据集一些示例排名。每图像下方显示预测NIMA分数。

感知图像增强

如另篇论文提到一样，质量和美观性分数也可用来调感知图像增强运算符。换言之，作为损失函数一部分尽可能提NIMA分数可增图像感知质量可能性。下例表明可将NIMA用作训练损失来调色调增强算法。我们发现基线美观性评分可通由NIMA分数指导的对比度调整得改善。故模型能指导深度CNN滤波器找到其参数在美观性接近最佳水平设置，如亮度、高光和阴影。

可将NIMA用作训练损失增强图像。此例训练深度CNN并将NIMA用作其损失，图像局部色调和对比度增强。测试图像从MIT-Adobe FiveK数据集获取。

展望未来

NIMA研究工作表明基于机器学习质量评估模型可能具很多有用功能。如让用户轻松找出最好照片，甚至通向用户提供实时反馈提照片拍摄能力。后期处理方面这些模型可用来指导增强运算符生更出色感知结果。简单说NIMA网络及其它类似网络可满足人类对图像甚至视频审美，尽管不够完美，但已较可行。在理解质量和美观性意义方面做更好将是一项长期挑战，需对模型进行持续重复训练、测试。