Reveal to Revise: An Explainable AI Life Cycle for Iterative Bias Correction of Deep Models论文速读

Reveal to Revise: An Explainable AI Life Cycle for Iterative Bias Correction of Deep Models

摘要

最先进的机器学习模型通常会学习嵌入在训练数据中的虚假相关性。在部署这些模型进行高风险决策时，例如在皮肤癌检测等医疗应用中，这会带来风险。

本文提出了 Reveal to Revise （R2R），这是一个包含整个可扩展人工智能 （XAI） 生命周期的框架，使从业者能够迭代识别、缓解和（重新）评估虚假模型行为，同时进行最少的人工交互。

R2R通过发现属性中的异常值或通过检查模型学习的潜在概念来揭示模型的弱点。
在输入数据中检测负责的虚假并在空间上定位，然后利用这些虚假修改模型行为。应用RRR、CDEP和ClArC的方法进行模型校正，并（重新）评估模型的性能和对伪影的剩余敏感性

使用两个用于黑色素瘤检测和骨龄估计的医学基准数据集，我们将 R2R 框架应用于 VGG、ResNet 和 EfficientNet 架构，从而揭示和纠正真实的数据集固有伪影，以及在受控环境中的合成变体。在完成 XAI 生命周期后，演示了多个 R2R 迭代以减轻不同的偏差。
代码地址

本文方法

我们的 R2R 生命周期用于揭示和修改任何预训练 DNN 的虚假行为。
首先，我们通过使用 SpRAy （1a） 查找解释中的异常值或使用放大的 CRP 概念可视化 （1b） 查找可疑概念来识别模型弱点。
其次（2），SpRAy聚类或收集顶部参考样本允许我们标记伪影样本并计算伪影CAV，我们用它来分别在潜在空间和输入空间中对伪影进行建模和定位。此时，工件本地化可用于 （3） 模型校正，以及 （4） 评估模型在中毒测试集上的性能，并测量其对工件的剩余注意力

Reveal to Revise （R2R） 框架包括整个 XAI 生命周期，包括 （1） 识别模型偏差，（2） 工件标记和定位，（3） 纠正检测到的不当行为，以及 （4） 评估改进的模型。

虚假数据识别和本地化

CRP Concept Visualizations

将全局概念可视化技术与局部特征归因方法相结合。这提供了对潜在概念与预测的相关性及其在输入中的定位的理解。在这项工作中，使用逐层相关性传播 （LRP）在 CRP 下进行特征归因和一般热图，CRP非常适合通过精确缩小与模型推理最相关的输入部分来识别虚假概念，如图1（左下角）所示，用于创可贴概念，其中不相关的背景覆盖着黑色半透明颜色。为虚假概念收集排名靠前的参考样本使我们能够标记虚假数据

Explanation Outliers Through SpRAy

或者，SpRAy 是一种在局部解释中寻找异常值的策略，这些异常值可能源于虚假的模型行为，例如使用Clever Hans特征，即与特定类相关的特征与实际任务无关。通过对通过LRP计算的潜在归因进行聚类来应用SpRAy。然后，SpRAy 集群自然允许我们标记包含偏差的数据

模型校正方法

用于潜在空间校正的 ClArC

ClArC框架中的方法通过使用CAV对工件在潜在空间中的方向h进行建模来纠正模型（错误）行为。该框架由两种方法组成，即增强 ClArC （a-ClArC） 和投射 ClArC （p-ClArC）。虽然 a-ClArC 在微调阶段将 hl 添加到所有样品的层 l 的激活 al 中，因此教导模型朝该方向不变，但 p-ClArC 在测试阶段抑制伪影方向，不需要任何微调。更准确地说，扰动激活 a l 由下式给出

RRR 和 CDEP 通过先验知识进行纠正

实验结果