PR-Attack: Coordinated Prompt-RAG Attacks on Retrieval-Augmented Generation in Large Language Models

主要内容

1. 背景与动机：大语言模型（LLMs）应用广泛但存在知识过时和幻觉问题，检索增强生成（RAG）结合外部检索系统可解决这些问题，但现有针对RAG - 基于LLMs的攻击方法存在效率低、易被检测、缺乏理论框架等问题。本文提出协调Prompt - RAG攻击（PR - attack），通过在知识库注入少量中毒文本并在提示中嵌入后门触发器，实现更有效和隐蔽的攻击。
2. 相关工作：介绍LLMs的安全攻击分类，包括提示攻击和对抗攻击，以及双层优化在机器学习领域的应用。
3. 方法：定义威胁模型，将PR - attack问题表述为双层优化问题，并通过修改模型克服优化挑战。提出交替优化方法，分别优化中毒文本和软提示，并对方法进行复杂度分析。
4. 实验：使用三个问答数据集和六个LLMs评估PR - attack，与现有攻击方法对比。结果表明PR - attack攻击成功率高、隐蔽性好、适用性广，且对中毒文本和软提示的参数选择不敏感。