CrAM: Credibility-Aware Attention Modifcation in LLMs forCombating Misinformation in RAG

1. 概述

        检索增强生成（Retrieval-Augmented Generation，RAG）（Gao et al. 2024；Zhu et al. 2021）是一种典型的降低大语言模型（Large Language Models，LLMs）（Zhang et al. 2023）幻觉问题的方法，通过从外部语料库中检索和参考相关文件来实现。然而，尽管其效果显著，但大多数 RAG 研究忽视了一个关键问题：外部语料库中的虚假信息污染（Pan et al. 2023b；Dufour et al. 2024）。恶意生成的虚假信息可能误导 LLMs 生成不符合事实的回应。例如，微软的 Bing 可能被互联网上的虚假信息误导，为 Bing 用户生成错误信息（Vincent 2023）。此外，Pan 等（2023b）和 Pan 等（2023a）表明，将 LLMs 生成的虚假信息插入 RAG 语料库会显著降低 LLMs 的性能。因此，解决 RAG 中的虚假信息污染问题至关重要。

        一个简单而常见的解决方法是虚假信息检测和过滤。大量虚假信息检测研究关注于衡量文件的可信度，即文件不包含虚假信息的概率（Kaliyar，Goswami 和 Narang 2021；Pelline et al. 2023；Quelle 和 Bovet 2024；Li et al. 2024）。一旦我们获得了检索到的每个文件的可信度，就可以在 RAG 使用前排除那些低于特定阈值的文件。然而，直接丢弃某些文件可能导致相关信息的丢失，从而导致性能