Tokens for Learning, Tokens for Unlearning: Mitigating Membership Inference Attacks

摘要

大语言模型（LLMs）已成为现代自然语言处理的支柱，但它存在泄露敏感训练数据的隐私问题。成员推理攻击（MIAs）旨在推断某个样本是否包含在模型的训练数据集中，可能引发更广泛的隐私威胁。现有的针对传统分类模型的防御方法没有考虑文本数据的序列特性，因此，它们要么需要大量的计算资源，要么无法有效降低大语言模型中的隐私风险。在这项研究中，我们提出了一种轻量级且有效的经验隐私防御方法，通过利用大语言模型中token的特定特征来保护语言模型的训练数据。通过分析训练过程中token的动态变化，我们提出了一种token选择策略，将token分为用于学习的 “难学习token” 和用于 “反学习” 的 “记忆token”。随后，我们在训练阶段通过优化一种新的双目标token级损失函数，以实现模型实用性和隐私性之间的帕累托最优平衡。大量实验表明，与基线方法相比，我们的方法不仅能有效抵御成员推理攻击，还能在各种大语言模型架构和数据集上使语言建模性能提高约10%。

引言

大语言模型（LLMs）已成为现代自然语言处理的基础，在各个领域都有广泛应用（Chang等人，2024）。随着大语言模型的快速部署，数据隐私问题也日益严重（Yao等人，2024）。研究表明，大语言模型会记住训