论文阅读：2024 arxiv MRJ-Agent: An Effective Jailbreak Agent for Multi-Round Dialogue

MRJ-Agent: An Effective Jailbreak Agent for Multi-Round Dialogue

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

https://arxiv.org/pdf/2411.03814

https://www.doubao.com/chat/4009580257627650

速览

这篇论文提出了MRJ-Agent这种针对大语言模型（LLMs）的多轮对话越狱攻击方法，主要是为了测试LLMs的安全性，看看能不能让它们输出有害内容，具体内容如下：

1. 研究背景：LLMs应用广泛，但存在安全隐患，可能被攻击者利用输出有害内容。之前的越狱攻击研究多针对单轮对话，忽视了多轮对话场景，而现有多轮对话攻击方法依赖人工设计指令，不够灵活有效。
2. 相关工作：介绍了单轮攻击和多轮攻击的相关研究。单轮攻击有基于梯度、基于logits等方法；多轮攻击相对较少，现有方法依赖LLMs现有对话能力和人工设计格式，实用性受限