大家读完觉得有帮助记得关注和点赞!!!
抽象
联邦学习 (FL) 是一种新兴的分布式机器学习 Paradigm 使多个客户端能够训练全局模型 无需共享原始数据即可进行协作。而 FL 增强数据 隐私设计,它仍然容易受到各种安全和隐私的影响 威胁。该调查提供了 200 多个的全面概述 关于最先进的攻击和防御机制的论文 为应对这些挑战而开发,将其分类为 增强安全和隐私保护技术。增强安全性 方法旨在提高 FL 对恶意行为的鲁棒性,例如 拜占庭袭击、中毒和女巫袭击。同时, 隐私保护技术侧重于通过以下方式保护敏感数据 加密方法、差分隐私和安全聚合。 我们批判性地分析现有方法的优势和局限性, 强调隐私、安全和模型之间的权衡 性能,并讨论非 IID 数据分布的影响 关于这些防御的有效性。此外,我们确定开放 研究挑战和未来方向,包括 可扩展、自适应且节能的解决方案,在动态中运行 以及异构 FL 环境。我们的调查旨在指导研究人员 以及开发强大且保护隐私的 FL 的从业者 系统,促进进步,保障协作学习 框架的完整性和机密性。
关键字:
联邦学习 , 隐私保护 , 安全机制 , 对抗性攻击 , 鲁棒性 , 防御机制。
杂志: 信息融合
1介绍
机器学习 (ML) 彻底改变了许多 领域通过使计算机能够从 数据并做出明智的决策,而无需明确编程 每个场景。这种能力在 当今数据驱动的世界,数据量、速度和种类 信息远远超出了人类手动分析的能力。毫升 应用涵盖广泛的行业,包括 医疗金融, 制造业和 娱乐.它为以下方面提供解决方案: 以前棘手的问题,开辟了新领域 创新。当组织和研究人员寻求利用 ML 的力量,他们经常面临与数据可访问性相关的挑战 和隐私问题。
联邦学习 (FL)已成为一种强大的范式,使多个客户端(本地节点、各方、参与者)能够协作训练 ML 模型,而无需共享原始数据。虽然 FL 增强了数据隐私,但它也带来了传统集中式学习环境中不存在的独特安全和隐私挑战,包括非 IID(非独立和相同分布)数据加剧的漏洞,其中客户端数据集在标签、特征或数量分布方面表现出统计异质性。非 IID 数据会放大安全风险,例如中毒攻击,因为对手可以利用扭曲的本地更新来纵全局模型,以及成员资格推理等隐私风险,攻击者通过利用分布差异来推断特定数据点的参与.
FL 的分布式特性使其容易受到各种类型的攻击,包括模型中毒、后门攻击、对抗性纵、数据和梯度泄露以及模型更新推理,非 IID 条件进一步破坏了差分隐私 (DP) 和稳健聚合等传统防御。应对这些挑战对于确保 FL 系统的稳健性、可靠性和可信度至关重要,特别是当它们越来越多地应用于医疗保健等敏感领域时金融和电信,除其他外。
1.1赋予动机
我们的调查旨在提供全面且相互关联的概述 佛罗里达州的安全和隐私。我们对 FL 的 通过彻底检查各种因素来分析和隐私环境 例如攻击、隐私问题和防御策略。这种集成的 方法可以更深入地理解 FL 安全性和隐私性 组件是相互关联并相互影响的。通过 综合来自该领域的见解,我们的工作旨在提供完整的 了解 FL 安全和隐私的现状,帮助 培养对挑战的更详细和细致的认识,以及 这方面的可能性。
表1:佛罗里达州以往与隐私和安全相关的调查摘要(✔:包含,◆:部分包含,✘:不包含)
调查 |
出版年 |
安全分类学 |
隐私分类学 |
安全攻击/防御 |
隐私攻击/防御 |
顶级场地 |
框架 |
的领域应用 |
前途方向 |
2024 |
◆ |
◆ |
✔ |
✔ |
✘ |
✔ |
◆ |
✔ | |
2024 |
✘ |
✘ |
✔ |
✔ |
✘ |
✘ |
✘ |
✔ | |
2023 |
◆ |
◆ |
◆ |
◆ |
✘ |
✘ |
✘ |
✔ | |
2023 |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✔ |
✘ | |
2023 |
✘ |
✘ |
✔ |
✘ |
✘ |
◆ |
◆ |
✔ | |
2023 |
◆ |
✔ |
✔ |
✔ |
✘ |
✘ |
✘ |
✔ | |
2022 |
◆ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
◆ | |
2022 |
◆ |
◆ |
✔ |
◆ |
✘ |
◆ |
◆ |
✔ | |
2022 |
◆ |
✔ |
◆ |
✔ |
✘ |
◆ |
✘ |
◆ | |
2021 |
◆ |
◆ |
✔ |
✔ |
✘ |
✘ |
✘ |
✔ | |
2021 |
✘ |
✔ |
✘ |
✔ |
✘ |
✘ |
✘ |
✔ | |
2021 |
✔ |
✔ |
✔ |
✔ |
✘ |
✔ |
◆ |
✔ | |
2021 |
✘ |
✘ |
◆ |
◆ |
✘ |
◆ |
◆ |
✔ | |
2021 |
✘ |
✘ |
✘ |
✔ |
✘ |
✘ |
◆ |
◆ | |
2020 |
✘ |
✘ |
◆ |
✔ |
✘ |
✔ |
✘ |
✘ | |
2025 |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
表 111 显示了对 现有调查(根据我们的文献综述过程发现 在第 111 节中解释),揭示了 整合这些主题。尽管文献数量不断增加,但我们观察到的局面是支离破碎的:大多数先前的调查都孤立地对待隐私或安全,通常列出威胁或防御措施,而没有将它们组织在一个共同的概念框架下。其他人则忽略了系统框架、应用领域或可扩展性权衡等实际问题。例如,胡等人。和 Hallaji 等人。主要地址 安全和隐私攻击/防御,但缺乏框架覆盖 和应用领域。同样,Nair 等人。, 和 Neto 等人。提供对特定领域的见解 例如安全防御或隐私问题,但没有集成这些 进入更广泛的分类法或讨论未来的方向。调查 作者:Liu 等人。和龚等 铝。重点关注安全攻击,但不 全面解决隐私或框架的应用。
我们发现:
- 1. 16 项调查中只有 1 项试图涵盖隐私和安全的角度。
- 2. 只有不到一半的人提供了攻击或防御的任何结构化分类法。
- 3. 在 16 项调查中,有 12 项省略了实际维度,例如框架和实际 FL 应用程序。
- 4. 现有的调查都没有将攻击、防御和系统级问题统一到一个集成视图中。
这项工作旨在建立和扩展在以下方面所做的有价值的研究以前的研究通过提供全面和系统化的方法FL 中的威胁、防御和框架。我们提出了一个广泛的目录,整合和扩展了各种威胁和现有文献中讨论的防御,提供攻击及其相应的多方面分类 解决 方案。 此外,我们还研究了相关框架,包括FL 系统的隐私和安全注意事项,以提供 FL 格局的整体视图。
1.2贡献
我们的调查通过彻底审查 FL 的安全性和 隐私景观。表111比较了我们的工作 与之前的调查一起,突出了我们研究的独特覆盖范围和 深度。我们的调查通过提供整体方法而脱颖而出 整合广泛的关键领域。我们涵盖安全和 隐私分类法、安全和隐私攻击/防御,包括 讨论顶级场地、框架和应用领域。 通过提供这种全面的报道并系统地描述 从不同角度进行攻击,我们的调查提供了更深层次的 了解佛罗里达州安全和隐私的各个方面。 值得注意的是,我们的工作是为数不多的解决所有这些方面的工作之一 统一的框架,从而提供完整且有凝聚力的概述 研究人员和从业者。
具体来说,我们的贡献如下:
1、综合分类法:我们提供详细的 安全和隐私威胁的分类法以及相应的 佛罗里达州的防御机制。这些分类法作为结构化的 理解各种挑战和解决方案的框架 领域。
2、框架和应用程序的包含:我们的调查是 在为数不多的涵盖 FL 框架和实际领域的 FL 的申请。这种包含提供了对 如何实施和测试安全和隐私措施 真实场景。
3.、未来方向和开放挑战:我们确定 重要的开放挑战并勾勒出充满希望的未来方向, 为希望解决以下问题的研究人员提供宝贵的指导 文献中存在的空白。
总体而言,我们的调查以其广泛的范围和综合性而著称 方法,使其成为研究人员和 寻求全面了解安全和 佛罗里达州的隐私。
1.3相关论文检索
图 1:用于收集相关参考的 PRISMA 流程
这项工作按照 PRISMA 方法进行了文献综述 检索并全面分析 FL 安全和隐私文献。图 111 描述了检索最相关论文的方法的每个阶段。文献综述解决了三个关键研究问题:识别最近的攻击和威胁、探索对策以及评估 FL 框架的实际应用。使用六个信誉良好的数据库(Google Scholar、IEEE Xplore、PubMed、Scopus、Web of Science),在三个主题上使用了 59 个搜索查询:攻击、防御和 框架(见表 222)。删除重复后,筛选出 2,002 篇论文 在关键词、标题、摘要和影响力分数上,最终缩小范围 评选出217篇影响力得分在5分以上的高质量论文。
表2:按主题划分的搜索查询示例
主题 |
搜索查询示例 |
攻击 |
“联合学习攻击” |
“联邦学习数据中毒” | |
“联邦学习后门攻击” | |
防御 |
“联邦学习差分隐私” |
“联邦学习安全多方计算” | |
“联邦学习同态加密” | |
框架 |
“联合学习框架” |
“联合学习花” | |
“联邦学习的实际应用” |
1.4路线图
第一节:介绍第 2 部分:FL 背景第 3 部分:安全攻击和防御第 4 节:隐私攻击和防御第 5 节:FL 框架第 6 节:应用第 7 节:未来方向第 8 节:结论图2:论文结构概述。每个部分都建立在以前的内容的基础上,从基本概念发展到攻击和防御分类法、框架、应用程序和未来方向。
为方便读者,列出了本作品中使用的首字母缩略词在表 333 中。
缩写 |
描述 |
ADI的 |
对抗性主导输入 |
AFR |
匿名搭便车 |
艾莉 |
一点点就够了攻击 |
汽车通用汽车 |
自动加权 GeoMed |
BFT的 |
拜占庭容错 |
C-GAN的 |
跨客户端 GAN |
注册 会计师 |
鸡尾酒会攻击 |
DDP的 |
动态差分隐私 |
DFL公司 |
去中心化联邦学习 |
DLG |
梯度深度渗漏 |
DP |
差分隐私 |
E2EGI |
端到端梯度反演攻击 |
FC的 |
全连接 |
佛罗里达州 |
联邦学习 |
福尔特 |
联邦在线学习排名 |
FR |
搭便车 |
赣语 |
生成对抗网络 |
GDPR |
数据保护条例 |
地理医学 |
几何中位数 |
GS的 |
渐度跟踪 |
HIPAA的 |
健康保险流通与责任法案 |
他 |
同态加密 |
IPM的 |
内积作 |
物联网 |
物联网 |
自民党 |
局部差分隐私 |
人与生物圈 |
Adversarial Multi-Armed Bandit |
马迈德 |
边际中位数 |
MCS系统 |
移动众感 |
米迈德 |
中位数周围的平均值 |
米特姆 |
中间人 |
毫升 |
机器学习 |
MPC的 |
安全的多方计算 |
加时赛 |
遗忘转移 |
通过 |
基于参数审计的安全公平 FL 方案 |
PID的 |
隐私感知和增量防御 |
PMIA |
中毒成员身份推理攻击 |
滚塑 |
安全 FL 的鲁棒性 |
SCA的 |
基于女巫的勾结攻击 |
SFL的 |
拆分联邦学习 |
SFR的 |
自私的搭便车 |
锶 |
系统评价 |
不锈钢 |
秘密共享 |
TFF |
Tensorflow 联合 |
VQA认证 |
视觉问答 |
ZKP-佛罗里达州 |
基于零知识证明的 FL |
ZKP 的 |
零知识证明 |
表3:本文中使用的首字母缩略词
2FL 背景
佛罗里达州是一种用于协作的 ML 技术 在多个客户端上训练模型 以去中心化的方式,保护数据隐私和所有权 客户端/服务器所有者.FL 对 高度去中心化的数据,尤其是在物联网日益普及的情况下 用于持续捕获数据和监控用户模式的设备。
无花果。图3图图33描述了框架的高级视图 以及客户端如何与中央服务器交互。物联网设备, 机构(即医院、公司等)、文件或车辆 将收集用户数据并训练本地深度学习模型,该模型 镜像以前收到的全局模型. 完成本地训练阶段后,模型 协作训练全局模型,利用他们的更新而不是 用户提供的原始数据。这些模型更新表明变化 在训练期间模型的权重中,并且不反映私有或 有关用户的个人信息。
所有客户端都会将更新发送到中央服务器, 编译并使用它们来聚合全局模型 权重.一旦全局模型训练 程序完成时,每个客户端将收到更新的 全局模型。因此,模型将被训练和更新 定期不共享个人信息。因此, 框架将启用一个去中心化的架构,其中模型获得 在客户端之间分布,无需集中式服务器 运营模式,服务用户。它还将保护用户的隐私 通过处理和分析客户的数据,而无需 披露它。
图 3:FL 框架概述
FL 中的协作模型训练过程涉及聚合来自多个去中心化客户端的模型更新 同时保护数据隐私。聚合算法在 这种上下文,作为组合这些分布式 更新为全局模型。这些算法对于确保 联邦模型实现所需的收敛性和准确性 同时保护个人的隐私和安全 客户数据。
联邦平均 是在客户端-服务器中运行的最常用的聚合算法 体系结构,服务器在其中编排训练过程,以及 客户对他们的数据进行本地培训。每个客户 使用其本地数据独立训练模型并传输模型 服务器的更新。服务器聚合这些更新以构造 一个全球模型。FedAvg 的优势包括可扩展性,以适应 通过分散培训和提高效率实现庞大的用户群 通过集中式服务器中的计算便利性。然而,在佛罗里达州 设置时,应考虑客户端异构性等挑战, 更新聚合期间的通信开销和潜在 网络连接限制。
从数学的角度来看,FL 是 由一组Kclients,表示为C1,C2,…,CK.每 客户C我有其数据集𝒟我包含功能 (x) 和标签 (y) 对于某些示例(个人、样本)。佛罗里达州 旨在训练一个全局模型θ以去中心化的方式,其中 通过聚合来自 每个客户端,同时将数据保留在客户端上。损失 在 FL 过程中最小化L(θ)=∑我=1K(1/K)∗L(θ我)哪里L(θ)是全局损失函数 最小化和L(θ我)是客户端的局部损失函数C我. 此函数量化了 全球模型θ以及样本的地面实况标签 客户C我的数据集𝒟我.
2.1FL 的类型
FL 目前正处于积极的发展阶段,并雇用了多元化的员工 将其核心技术付诸实践的技术和方法 实现。在处理像 FL 这样的新兴技术时, 最初对这些技术和方法进行分类是一个关键 起点,实现更深刻的理解和探索 超越更广泛的概念框架。取决于数据分区 和可扩展性,FL 被分为不同的类别.
2.1.1数据分区
FL 系统通常根据 关于样本空间和特征空间的数据分布。这 分类通常将 FL 系统分为三种主要类型: 水平 FL、垂直 FL 和混合 FL。每个类别代表 在 FL 场景中处理数据分发的不同方法。
水平FL: 在水平 FL 中,客户端共享一个共同的 特征空间,但在样本空间中的重叠有限,使其 适用于用户协作处理共享的跨设备设置 任务。本地模型独立训练,具有一致的 架构,并且全局模型通过平均局部权重来更新 更新。
从数学上讲,水平 FL 是通过考虑相同的来表示的 跨客户端的功能,但具有不同的示例。例如 假设客户端C1和C2有不同用户的数据 推荐系统。在这种情况下,𝒟1={(x1,y1),(x2,y2),…,(xn1,yn1)}具有特征空间X和n1示例的数量C1和𝒟2={(x1′,y1′),(x2′,y2′),…,(xn2,yn2)}具有特征空间X和n2示例的数量C2. 这里x我和x我′表示不同特征 例子.
垂直 FL: 在垂直 FL 中,来自不同节点的数据集共享相同或相似的样本空间,但在特征空间中有所不同。实体对齐技术通过匹配实体描述来识别重叠样本,从而实现梯度提升决策树等模型的协作训练。隐私保护方法跨客户端对齐实体,促进联合梯度训练。这种方法经常出现在不同公司之间的合作中。
从数学上讲,垂直 FL 是通过考虑同一组来表示的跨客户端但具有不同特征的示例。例如,如果 客户C1和C2有关于患者的数据,其中C1有医疗记录,以及C2有遗传信息,那么𝒟1={(x1,y1),(x2,y2),…,(xn1,yn1)}具有功能 空间X1和n1示例的数量C1和𝒟2={(x1′,y1′),(x2′,y2′),…,(xn2,yn2)}具有特征空间X2和n1的数量示例C2. 这里x我和x我′表示不同的特征为相同的示例集.
混合 FL: 在许多其他用例中,虽然传统的 FL 系统主要集中在单一类型的数据分区上,但客户端之间的数据分布通常表现出水平和垂直划分的混合组合。这种类型的 FL 的一个具体示例是传输 FL ,这涉及水平和垂直数据分区,使其成为一种混合方法。后者允许模型从共享特征(垂直)和来自不同客户端(水平)的数据中学习,以提高性能和泛化。
让客户C1和C2拥有数据集D1和D2这样:
哪里𝒳1和𝒳2是C1和C2分别。 在混合 FL 中,存在子集S共享⊆S1∩S2(共享样本)和X共享⊆𝒳1∩𝒳2(共享功能)。
2.1.2联邦规模
FL 时尚可分为根据联合范围分为两种类型:跨孤岛 FL 和跨设备 FL。这些类型之间的区别围绕着客户端数量和存储在其中的数据量每个客户端。
跨孤岛:客户通常是组织或数据中心。通常涉及数量有限的客户端,每个客户端都有大量数据和计算资源。例如,亚马逊旨在利用来自全球许多数据中心的购物数据来提供用户商品推荐.
跨设备:通常有更多的客户端,每个客户端的数据量和计算能力相对较小,通常由移动设备组成。Google 键盘是跨设备 FL 的例证,其中 Google 键盘中查询建议的增强可以受益于 佛罗里达州.
2.2斯普利特佛罗里达州
Split FL (SFL) 是一种分布式机器学习方法,它利用拆分模型架构,在客户端和中央服务器之间划分模型。这种设计通过避免原始数据共享来增强隐私,并且由于其分布式计算而适用于资源受限的环境,从而减轻了单个客户端的负担. SFL 在大规模分布式设置中提供高可扩展性和效率,但也存在局限性,包括由于其基于中继的训练过程和增加的通信开销,与传统 FL 相比性能较慢.
在 SFL 中,对于客户端C我,训练过程按如下方式进行:
- 前向传递:客户端计算激活,直至切割层一个我=fθc(x我)并发送一个我到服务器。
- 服务器计算:服务器完成前向传递y^我=fθs(一个我).
- 向后传球:服务器计算梯度∇一个我ℒ并将其发送给客户端,然后客户端计算∇θcℒ=∇一个我ℒ⋅∇θcfθc(x我).
总体优化目标是:
2.3非 IID 数据对 FL 的影响
在佛罗里达州,非 IID数据是指在客户端之间分布不均匀的数据,这意味着由于用户偏好、地理位置或客户端使用模式等因素,不同的客户端可能具有显着不同的数据分布。这些差异出现在三个维度上:
- 1. 标签分布偏差:差异P(y|x)(标签的条件概率分布y给定功能x) 客户端之间。例如,专门治疗不同疾病的医院,诊断标签不平衡。
- 2. 特征分布偏差:变化P(x)(特征的边际概率分布x) 跨客户端。例如,不同地区的智能手机捕捉到不同的视觉模式(例如,城市与农村环境)。
- 3. 数量偏差:数据集大小差异nk(其中n_k=|𝒟k|表示客户端的样品数量k)在客户之间。例如,具有不同存储容量的物联网设备收集的数据点不相等。
非 IID 数据带来了严重的隐私和安全挑战,因为它会使模型更容易受到推理攻击(例如,成员资格和属性推理)因为对手可以利用统计差异来提取有关客户端数据的敏感信息。此外,非 IID 数据加剧了中毒攻击的影响,其中对抗性客户端可以通过注入有偏见的梯度来更有效地纵全局模型更新。在防御方面,传统的 DP 和鲁棒聚合方法(例如基于中位数或修剪均值的聚合)在非 IID 环境中经常失去有效性,因为数据分布的可变性可能导致过多的噪声或偏差 更新。此外,异常检测方法依赖异常值检测的行为可能难以区分由于非 IID 数据引起的自然变化和实际的对抗行为。
3佛罗里达州的安全性
图4:FL 中攻击和防御的安全和隐私分类
根据评估的论文,我们提出了 FL 安全性的分类法 以及隐私攻击和防御(请参阅 无花果。 444),提供结构化的 理解这个不断发展的领域的框架。遵循这样的 分类法,我们在 本节。对于攻击,我们概述了具体的机制、程度 伤害,以及现实世界中表现的具体例子。在 在每个小节的结尾,我们提供了一些经验教训 分析有关安全 FL 攻击和防御的论文。
3.1安全攻击/威胁
在佛罗里达州,安全攻击和威胁涉及对抗性策略 损害模型的完整性、可用性、机密性和 基础数据。这些攻击可以根据以下几种进行分类 标准。特别是,为了提高清晰度并减少重叠,我们 定义对安全攻击和威胁进行分类的五个关键维度 在 FL 中:靶标特异性、受影响的相位、意图、性质 对手和执行风格。对于目标特异性,有针对性的攻击旨在破坏特定的系统元素,而无针对性的攻击则旨在造成普遍的破坏或降级 整体性能。受影响的阶段阐明了中断是否 主要发生在模型训练期间(例如中毒或女巫 攻击)或仅在推理时变得相关(如回避)。 此外,攻击按意图分类;恶意 攻击旨在造成伤害,而剥削性攻击则寻求 个人利益,没有直接伤害。此外,的性质 对手起着至关重要的作用:内部攻击来自 在体制内,而外部攻击则源自 外面.最后,执行风格明确 攻击者是否必须参与多轮或持续参与才能取得成功,或者可以 在单个、一次性实例中完成攻击。
该调查根据攻击的具体性质对攻击进行分类,并 策略,提供详细的分类法并检查其对 FL 的影响 系统。为了提供结构化的概述,我们提供了一个全面的 表‣ 3.1 Security Attacks/Threats ‣ 3 Security in FL ‣ On the Security and Privacy of Federated Learning: A Survey with Attacks, Defenses, Frameworks, Applications, and Future Directions"4中的概述总结了各种 攻击类型并根据上述维度对其进行分类。 尽管我们定义了五个主要维度——靶标特异性、阶段 受影响、意图、对手的性质,以及 执行风格——现实世界的攻击可以表现出跨越 一个类别。例如,中毒攻击最初可能看起来没有针对性,但也针对特定类别或区域 数据。同样,内部对手可以与外部实体合作或将攻击从训练扩展到 推理阶段。在表444中,我们将 每次攻击都根据其最典型或主要的形式进行,而 认识到对手可以混合方法或采用混合方法 策略。以下部分将讨论关键安全性 FL 中的威胁,详细说明其性质、目标和潜在影响 并提供文献中的例子。
图5:与一段时间内的安全攻击相关的论文
无花果。555 显示明显的上升趋势 一段时间内发表的关于各种安全攻击的论文数量。在 2019 年和 2020 年,很少有论文关注基于女巫和 GAN 的攻击, 分别。从 2021 年开始,出现明显的多元化 研究的攻击类型,总体上显着增加 研究成果。中毒袭击日益突出, 主导研究领域,尤其是在 2023 年和 2024 年。其他 后门、辍学、躲避和搭便车等攻击类型有 在晚年出现,表明范围的扩大 安全研究。2024 年显示论文数量最多 多个攻击类别,表明人们对 安全攻击。
表4:FL 中安全攻击的分类
攻击类型 |
靶标特异性 |
受影响的相位 |
意图 |
对手的性质 |
执行风格 |
数据中毒 |
有针对性/无针对性 |
训练 |
恶意 |
局内人/局外人 |
连续的 |
模型中毒 |
有针对性/无针对性 |
训练 |
恶意 |
知情人 |
连续的 |
基于 GAN |
有针对性/无针对性 |
训练 |
恶意 |
局外人 |
连续的 |
西比尔 |
有针对性/无针对性 |
训练/推理 |
恶意 |
局内人/局外人 |
连续的 |
后门 |
目标 |
训练 |
恶意 |
知情人 |
连续的 |
搭便车 |
无针对性 |
训练 |
剥削 |
知情人 |
连续的 |
干扰 |
无针对性 |
训练/推理 |
分裂性的 |
局外人 |
一次性 |
规避 |
有针对性/无针对性 |
推理 |
分裂性的 |
局外人 |
一次性 |
掉队 |
无针对性 |
训练/推理 |
分裂性的 |
知情人 |
连续的 |
辍学 |
无针对性 |
训练/推理 |
分裂性的 |
知情人 |
连续的 |
3.1.1拜占庭袭击
拜占庭攻击是指一大类恶意或有缺陷的攻击 分布式和 FL 系统中的行为。该术语起源于 拜占庭将军问题 哪 强调在分布式网络中达成共识的挑战 当一些客户由于恶意或过错而做出不可预测的行为时。在佛罗里达州, 这些攻击会破坏学习过程,降低模型性能, 或损害系统完整性。例如,模型和数据 中毒攻击涉及对手注入有害更新以 全球模型,如实证研究所显示的那样,此类攻击 显着提高错误率 .同样,女巫攻击通过引入多个假货来纵聚合 身份,放大攻击者的 影响 。后门 另一方面,攻击会秘密地改变模型行为,以 特定输入,例如激活恶意的嵌入触发器 结果。现实世界的例子包括篡改物联网设备模型 对安全威胁进行错误分类或在医疗保健领域注入有偏见的数据 应用程序,以损害诊断准确性。 实际上, 对手可以通过拦截本地来执行拜占庭行为 梯度更新并在发送前引入任意偏差 它们发送到服务器。最少的 Python 脚本可以缩放或随机化这些 更新,允许攻击者绕过朴素的过滤器。一些开源的 原型演示了两个或三个恶意客户端如何 系统地扭曲全球模型。此外,稳健的聚合 方法(例如 Bulyan、Krum)通常检测较大的异常值,但可能 无法抵御微妙的纵。集成加密检查 (例如,承诺)或分析更新之间的多轮一致性 可以显着降低拜占庭漏洞利用的成功率。 以下段落探讨了这些攻击机制及其 详细后果。
中毒攻击
FL 中的中毒攻击涉及注入恶意数据或纵 模型更新以损害学习过程的完整性。此类攻击可能会降低整体模型性能,并允许攻击者 引入偏见、插入后门或创建特定的目标 漏洞。
数据中毒是指恶意客户端的攻击 将其发送到全局模型的数据或模型参数更改为 降低其性能。非针对性数据中毒涉及 一般中断,例如添加随机噪声、随机标签翻转、 以及随机输入数据中毒,这可能导致 模型的准确性和鲁棒性。例如,攻击者注入嘈杂的 数据进入医疗诊断模型可能会导致不正确的患者 评估。另一方面,有针对性的数据中毒寻求 导致特定错误或错误分类,例如目标标签 在自动驾驶系统中翻转,其中有停车标志 被错误归类为限速,存在安全隐患。另一种方式 对数据中毒攻击进行分类是基于攻击者是否可以 修改中毒数据的标签。清洁标签中毒假设攻击者由于完整性而无法更改数据标签 约束,而是巧妙地纵特征,例如修改 图像像素以诱导不正确的分类。这些攻击是 在生物识别等安全敏感领域尤其危险 身份验证,人脸识别模型中的小扰动可以 允许未经授权的访问,同时保持传统无法检测到 防御。
相比之下,脏标签中毒直接涉及 作数据标签。在此方案中,攻击者引入了 样本到具有不正确标签的训练数据集中,从而误导 模型。脏标签中毒通常更容易 检测比清洁标签中毒,因为数据及其标签的 不一致更为明显.表 5表表 5 5 概述了数据中毒 攻击,按其有针对性或非针对性以及是否 它们涉及干净或脏的标签。该表包括相关的 每个类别的论文说明了关键研究和发现。
表5:数据中毒攻击的分类
清洁标签 |
脏标签 | |
目标 |
有针对性的数据作 |
有针对性的标签翻转 |
无针对性 |
随机数据作, 对抗性样本 |
随机标签翻转 |
模型中毒涉及故意纵模型 参数或更新发送到中央服务器,以完整性为目标 模型本身而不是训练数据。这种类型的攻击 特别有效,在影响上往往超过数据中毒, 特别是针对采用拜占庭式强大防御的系统 机制。方等人。 证明 非定向攻击,通过制作局部模型参数来偏离 显着超出预期值,可能会导致聚合更新 降低全局模型性能。例如,他们的实验表明 引入扰动使与典型偏差最大化 update 路径,导致大量全局模型错误。巴鲁克等人 铝。 强调即使是最小的中毒——只有一小部分 的恶意更新被引入——可以通过以下方式绕过强大的防御 利用梯度方差。这种方法需要有限的知识 客户端数据,并微妙地移动聚合梯度的平均值 以逃避检测。现实世界的影响包括对 推荐系统,其中细微的纵会降低排名 准确性,不触发警报。王等 铝。 将这些发现扩展到联邦 在线学习排名 (FOLTR) 系统,显示复杂的 即使在鲁棒下,中毒策略也优于数据中毒 防御。他们还指出,在没有主动的情况下部署此类防御 攻击会降低系统性能,这凸显了对 平衡安全性和功能性的自适应防御。
在实施方面,数据中毒攻击通常涉及 直接的标签作或像素级扰动 本地数据集。公开可用的代码,例如 在 ,显示了简单的渐变缩放 过程可能会压倒聚合函数中的良性更新,例如 美联储平均。模型中毒更进一步,直接调整体重 张量来嵌入“不可见的触发器”。防御者通常集成 健壮的聚合器管道(例如,Krum 或 Trimmed Mean,请参阅 第 3.23.23.2 节) 和异常监视器 跟踪可疑梯度幅度 或标记轮次之间的差异。此外,部分 本地数据检查(例如,删除高度难以置信的 标签)可以破坏之前的隐秘中毒尝试 它们聚合为全局参数移位。
基于生成对抗网络 (GAN) 的攻击
GAN 已被用于执行模型和数据中毒FL 中的攻击。在这种情况下,对手伪装成良性客户端并训练 GAN 复制原型样本其他客户端的数据集。全局模型参数充当鉴别器的参数,使 GAN 能够产生逼真的但纵的样本。然后使用这些样本来生成中毒更新,这些更新被缩放并提交给中央 服务器 . 据张等 铝。 ,任何内部客户端都可以发起基于 GAN 的中毒攻击。例如,他们的 PoisonGAN模型表明,即使在攻击下,全局模型也保持了超过 80% 的中毒和主要准确率 任务 . 这凸显了双重威胁在嵌入恶意目标的同时保持任务性能。现实世界的影响包括对手利用 GAN 绕过检测机制,如模糊或嘈杂中毒的情况数据破坏异常检测系统 。 这些 示例强调了基于 GAN 的攻击造成的重大危害,这些危害损害 FL 系统的完整性和隐私性,但不易被检测到 异常。 从实现的角度来看,基于 GAN 的攻击通常涉及将服务器的全局模型(作为鉴别器)与本地训练的生成器配对,以优化恶意更新以显示“良性”。对 PyTorch 或TensorFlow 脚本允许攻击者将生成器输出作为合法传递 梯度。 潜在的防御措施可能包括增量偏移检测标记可疑一致的梯度失真和聚类具有显着差异的客户端更新技术。
女巫攻击
女巫攻击涉及恶意客户端创建多个虚假身份,以获得不成比例的影响力或控制权 系统。 虽然不是专门的中毒攻击,但它可以促进或通过增加虚假客户端的数量来放大中毒攻击提交恶意或有偏见的更新 . 为 例如,使用虚假客户端的模型中毒攻击可以显着降低全局模型的测试准确性,即使针对经典 防御 . 冯等人。 在他们的实验中证明了这一点,其中两个女巫节点插入后门,导致 MNIST 数据集中 96.2% 的数字 1 被在最终模型中被错误分类为 7。这凸显了严重的即使是少数女巫也会对模型完整性产生影响。在现实世界中场景中,此类攻击因其能力而特别令人担忧通过保留整体模型来绕过检测机制 效用 . 此外,另一个 研究 揭示了女巫节点如何将后门触发器注入数据,从而扰乱 FL 中的训练过程 系统。
使用 Sybil 客户可以像注册多个 通信相同或略有修改的“假”客户端 更新,全部由一个对手控制。法典 例子 说明只有两个女巫 可能会严重破坏联合模型。 傻瓜黄金 或其他基于相似性的 方法跟踪客户端更新之间的余弦距离,惩罚 可疑集群。一些框架结合了基于区块链的 身份管理或限制每个新客户端可以加入的数量 圆形,为女巫大规模渗透设置了屏障。这些 对策降低了基于女巫的有效性和隐蔽性 操作。
后门攻击
后门攻击是一种有针对性的中毒攻击,对手故意破坏全局模型,使其在主要任务上表现良好,同时在特定条件(例如特定标签、图像修改或特征)触发时表现出恶意行为 .由于训练的去中心化性质,这些攻击在 FL 中尤其令人担忧,恶意更新可以在整个系统中传播漏洞。例如,在移动应用程序中使用的下一个单词预测模型等现实场景中,后门触发器可以纵敏感上下文(例如政治事件)的输出 .刘等人。 证明后门攻击可以通过制作模仿全球数据分布的本地更新并在良性更新影响最小的后期阶段注入后门来加速 FL 收敛。然而,这些攻击面临着检测风险和持久性有限等挑战。戴等人。 通过提出变色龙攻击来解决这些问题,该攻击使用有毒数据集和对比学习来增强后门持久性。这种方法可确保后门即使在攻击者停止参与后仍保持有效,正如安全措施薄弱的物联网设备等应用程序所见 .同样,Zhang 等人。 强调,在全局训练动态下,固定后门触发器经常会失败。他们的 A3FL 方法对触发器进行对抗性调整,以保持不断发展的模型的有效性。这些例子强调了后门攻击的重大危害,后门攻击可能会损害自动驾驶汽车或医疗保健系统等关键应用程序的模型完整性和用户信任。 实现后门通常涉及集成到局部训练集的一小部分(例如,图像分类中的微小角像素模式)中的“触发模式”。攻击脚本通常会为这些充满触发器的输入交换标签,并在本地进行训练,以确保全局模型仅在模式出现时才学会错误分类。火焰 和其他高级防御措施会添加温和的噪声或依靠“干净验证”来检测特定触发器的意外性能峰值。另一种方法是部分神经元修剪,去除对某些触发因素表现出异常高激活的神经元。采用这些防御措施通常会增加训练开销,但会显着降低成功的后门注入率。
3.1.2搭便车
当客户端由于缺乏数据、隐私问题或计算资源不足等原因而从最终聚合模型中受益而没有为其训练做出贡献时,就会发生搭便车。在搭便车 (FR) 攻击的背景下,根据对手对私人数据和计算资源的控制,这些攻击可以分为匿名搭便车 (AFR) 和自私搭便车 (SFR) 攻击 . AFR 攻击者缺乏私有数据集或计算资源,通常会向中央服务器提供随机高斯噪声,类似于通用的高斯攻击 . 这种行为会在聚合过程中引入噪声,从而破坏模型的准确性。相比之下,SFR 攻击者拥有私人数据和计算能力,但选择不贡献这些资源。例如,SFR 攻击者可能会采用增量权重攻击等高级策略,通过从前几轮中减去两个全局模型来生成梯度更新 ,或提交系统精心制作的虚假参数 . 虽然增量权重攻击确保聚合模型的收敛性,但它们通过模仿良性更新来保持隐蔽性 . 即使是更简单的方法,例如始终返回相同的全局模型参数,也会降低模型性能并降低 FL 中的公平性 . 这些攻击在现实场景中构成重大威胁,特别是在医疗保健或金融等敏感领域,FL 的完整性至关重要 . 从实现的角度来看,搭便车者可以通过在继续下载全局更新的同时返回不变或随机参数来完全绕过本地训练。这些最小的修改利用了聚合器对每个客户端的固有信任。 通过 类似的审计方法评估每个客户的历史梯度贡献及其对模型改进的影响。未能提供有意义的更新的客户可能会发现或降低聚合权重。这些评分机制通过将模型收益与本地努力联系起来来阻止搭便车。
3.1.3干扰攻击
干扰攻击对无线网络,尤其是去中心化 FL (DFL) 环境构成严重的安全威胁. 这些攻击涉及对手发出干扰信号来破坏合法节点之间的通信,从而阻碍本地模型参数等关键数据的交换。例如,在机场运营等现实场景中,干扰导致通信系统严重中断、延迟流程并影响运营效率. 在基于区块链的去中心化 FL 中,干扰攻击会阻止普通矿工接收必要的数据,从而将他们排除在工作量证明计算之外。这使得恶意矿工在控制区块链方面具有优势,增加了生成更长恶意区块流的概率,尤其是当攻击者的数量超过普通矿工时. 此外,去中心化 FL 中的有针对性的干扰可以通过中断关键通信链路来隔离节点。这种隔离会使网络碎片化,延迟学习过程,并由于数据交换不足而降低模型准确性. 例如,对多跳无线网络的此类攻击的模拟表明,通过利用连接和模型共享中的漏洞,DFL 性能显着降低.可以通过在每轮训练中施加网络丢弃率或强制超时来模拟真实的干扰。事实上,攻击者可能会使特定通道饱和,从而延迟或阻止本地更新到达服务器。从国防的角度来看,编码计算(例如,CodedPaddedFL) 或异步协议允许部分聚合,即使更新子集丢失或延迟也是如此。此外,一些 FL 系统引入了回退通信通道来绕过卡住的链路。这些解决方案为部分网络中断提供了一定程度的鲁棒性。
3.1.4规避攻击
规避攻击通过引入精心设计的对抗性输入(例如像素扰动)来利用推理过程中模型预测的弱点,而无需改变训练过程 .例如,熊猫图像的不明显变化可能会导致 GoogLeNet 以 99.3% 的置信度将其错误分类为长臂猿 .这些攻击通过降低模型的准确性和可信度来破坏 FL 系统的可靠性。在现实场景中,规避攻击可能会欺骗垃圾邮件过滤器或通过 FL 训练的推荐系统,从而导致财务或运营损失 . 在 VFL 中,Pang 等人。 展示了 VFL 系统对 ADI 的敏感性,ADI纵联合推理结果以优先考虑攻击者的输入。他们采用基于梯度的方法和灰盒模糊测试来发现隐私保护功能中的漏洞,揭示对手可以利用这些漏洞来扭曲结果。例如,ADI 可用于金融应用,以支持欺诈易。为了应对这些威胁,Kim 等人。 分析跨学习方法的内部规避攻击,表明与标准方法相比,个性化联邦对抗训练将鲁棒性提高了 60%。这表明,即使在资源有限的情况下,量身定制的防御措施也可以减轻攻击影响,尽管在平衡准确性和安全性方面仍然存在挑战。 为了进行此类攻击,恶意实体可以利用对抗性示例实现来制作特征级扰动。仅对推理管道进行微小的更改就足以导致全局模型中的错误分类。为了减轻影响,使用个性化的对抗性训练 允许每轮对对抗性变体进行重新训练,但计算成本更高。
3.1.5掉队
有时,由于有限的计算资源、后台进程、内存限制或不稳定的无线通信等各种因素,某些边缘设备(称为落伍者)的性能可能会明显慢于其他设备,从而恶化 FL 进程。攻击者还可以通过搭便车攻击来利用此漏洞,恶意客户端故意延迟或避免计算以降低系统性能 .在每个学习步骤中等待这些较慢客户端的模型更新可能会减慢模型收敛速度并降低准确性。例如,攻击者可能会在更新中注入噪音或模仿良性客户端来放大延迟,从而导致资源利用效率低下,因为更快的客户端空闲 。忽略落伍者的更新会带来模型准确性和客户端漂移的风险——这是一种由于数据分布不相同而导致局部模型显着差异的现象。现实世界的表现包括医疗保健 FL 系统,其中恶意客户端会破坏及时更新,危及疾病预测等关键应用程序。 在实现方面,对本地训练脚本进行简单修改可能会暂停或限制 GPU 使用,从而减慢进度。因此,需要设计异步或编码协议,以减少对严格圆形屏障的依赖。如果某些客户端反复迟到或缺席,则可以降低其权重或从聚合器的管道中删除。尽管如此,在实际的 FL 设置中,平衡实际慢客户端与恶意落伍者的公平包含仍然是一项关键的设计挑战。
3.1.6辍学
FL 中的用户退出是指某些客户端在训练过程中退出或变得不活动的情况。这种现象可能是由于网络问题、客户端故障或故意撤销而发生的。如果协作框架不能保证所有客户的公平性,诚实的客户可能会失去参与培训过程的动力 .除了这些一般挑战之外,dropout 还可能表现为攻击,即恶意客户端在关键训练阶段故意退出,以破坏全局模型的融合。如果具有独特数据分布的特定客户端受到影响,这种有针对性的辍学攻击可能会加剧模型中的偏差,从而导致性能偏差 。例如,在医疗保健应用程序等现实场景中,代表少数族裔的客户退出可能会导致代表性不足的群体的模型表现不佳。 在代码中,dropout 通过跳过聚合器的通信调用来模拟发送更新失败。防御性解决方案需要随着时间的推移跟踪辍学模式,以确定某些客户是否在关键的收敛阶段退出培训。部分重加权或客户选择的集成 可能会减少损害,但在发生许多辍学时保证公平仍然不重要。
我们想指出的是,虽然在佛罗里达州,落伍和辍学传统上不被归类为故意攻击(在图 1 的分类法上以灰色突出显示)。444),它们代表了可能阻碍整个学习过程的重大挑战。然而,值得注意的是,这些现象也可能被恶意环境中的对手利用。攻击者可以通过破坏客户端或资源来故意诱导落伍,或者通过故意撤回特定客户端来扰乱训练过程来导致辍学。
3.2安全防御
本节概述了旨在增强 FL 系统抵御各种对抗性威胁的稳健性的安全机制。它重点介绍了关键策略,包括强大的聚合算子、异常检测技术和对抗训练。
3.2.1稳健的聚合算子
FedAvg 是 FL 中用于聚合客户端模型更新的最流行的算法之一。然而,多项研究表明,这种方法可能对各种类型的攻击很敏感,包括模型中毒攻击,其中某些客户端可能会发送恶意更新,或数据中毒攻击,其中用于训练本地模型的数据纵以使全局模型产生偏差 .已经开发了强大的聚合运算符来增强安全性并防御此类攻击。这些运算符旨在最大限度地减少恶意或嘈杂更新的影响,从而提高 FL 系统的弹性。
- 1.
修剪均值涉及计算删除最高值和最低值的指定百分比后模型更新的平均值。这种方法有助于减轻异常值的影响,但可以通过利用客户端更新之间的高经验方差的中毒攻击来规避,如“一点点就够了”所证明的那样.此解决方案还通过从分布与其他数据显着不同的客户端中删除极值来缓解非 IID 数据导致的性能下降。
- 2.
基于中位数的算法将算术平均值替换为模型更新的中位数,选择表示分布中心的值。与 FedAvg 等方法相比,这种方法对极端值不太敏感,并且更能抵抗对抗性攻击。这种方法还提高了高非 IID 数据下的模型性能,因为它旨在避免高度不同的分布(又称异常值)的影响。但是,它容易受到 IPM 等攻击,这可能会对真实梯度和聚合梯度之间的内积产生负面影响.GeoMed(几何中位数)最小化到所有点的欧几里得距离之和,提供与平均值相比对异常值不太敏感的中心点.其计算效率更高的版本称为 Medoid.GeoMed 可以容忍多达一半的恶意客户端并估计真实参数,在梯度下降方法中显示收敛特性。然而,GeoMed 对模型中毒攻击很敏感,并且在不平衡的数据集中不太稳健。为了解决这些问题,Li 等人。提出的自动加权 GeoMed (AutoGM),它自动排除极端异常值,并根据用户指定的偏度阈值重新加权剩余点。即使高达 30% 的节点发生模型中毒或 50% 的节点遭受数据中毒攻击,AutoGM 也能保持高性能。边际中位数 (MarMed) 关注数据点边际分布的中位数,过滤掉极值,以提供集中趋势的稳定估计。这种方法的鲁棒性与几何中位数相似,但对数据的处理方式不同,有助于保持聚合过程的完整性,防止对抗性纵。中位数周围的平均值 (MeaMed) 是一种修剪平均方法,以中位数为中心进行计算,有效减少异常值和对抗性数据的影响。混合均值和中位数的优势提供了一种平衡的方法,可以在易受拜占庭攻击的分布式学习场景中保持性能和稳健性。
- 3.
Krum,由 Blanchard 等人引入。,通过最小化距离的平方和来选择受离群值影响最小的模型更新向量。n−f最近邻居,其中f是可以容忍的拜占庭工人的最大数量。Multi-Krum(或 m-Krum)通过考虑多个向量来扩展这种方法,从而通过聚合来增强鲁棒性d参数向量,而不仅仅是一个。尽管它在缓解高严重性攻击方面很有效,但 Han 等人。发现由于顺序数据和循环结构引起的局部模型的可变性,Krum 与 RNN 作斗争。此外,Krum 对强假设(例如有限绝对偏度)的依赖可能并不总是现实的,并且它容易受到 IPM 和“一点点就够了”(ALIE) 等较新的攻击,这些攻击利用客户端更新之间的经验差异.
- 4.
Bulyan 通过首先将来自每个客户端的梯度更新压缩为更紧凑的形式来增强现有的拜占庭鲁棒聚合技术,例如 Krum 和 GeoMed。这减少了噪音和恶意数据的影响。压缩后,Bulyan 采用强大的聚合技术来组合压缩的更新,专注于可靠信息,同时过滤掉异常值和对抗性贡献,从而提高针对拜占庭故障的准确性和弹性.
- 5.
聚类聚合计算参数更新之间的成对余弦距离,并使用具有平均链接的聚集聚类根据余弦相似性对客户端进行分组。虽然此方法在某些情况下显示出稳健性,但它只考虑更新的相对方向,而忽略了它们的大小。攻击者可以通过在不改变方向的情况下放大更新来利用这一点,从而破坏模型收敛。为了解决这个问题,Li 等人。建议的 ClippedClustering,它将基于规范的裁剪应用于更新。如果更新的规范超过服务器确定的阈值,则会缩放更新,该阈值使用历史更新规范的中位数自动设置,从而提高 IID 本地数据集下的防御。然而,ClippedClustering 显着降低了非 IID 数据集的性能,这凸显了定制防御策略的必要性。
- 6.
芝诺 根据更新与参考梯度的对齐方式对更新进行评分和排名,动态过滤掉可疑更新。芝诺在抵抗拜占庭攻击方面特别有效,因为它不仅仅依赖于中位数或均值等传统统计指标。相反,它会主动评估每次更新的可信度,从而动态拒绝有害贡献。与之前的工作相比,Zeno++删除了对工作器-服务器通信的几个不切实际的限制,现在允许来自匿名工作程序的完全异步更新,任意过时的工作程序更新,以及无限数量的拜占庭工作程序的可能性。
- 7.
异常检测它采用各种统计和分析方法来识别偏离预期行为的事件,这对于检测拜占庭攻击至关重要。有效的异常检测系统需要正常的行为配置文件来识别恶意活动。技术可能包括用于对类似更新进行分组并识别异常值的聚类、用于检测输入参数偏差的 Krum 等方法中使用的欧几里得距离指标、重建数据以标记异常更新的自动编码器以及其他方法.例如,江等人。建议监控客户端报告的平均损失,以识别和排除由女巫攻击引起的潜在受损更新。潘等人。建议将先进的异常检测技术与独特的模型更新聚合策略相结合,在单个更新周期内识别和消除后门影响,避免客户端之间需要大量的数据访问或通信。由于非 IID 数据会使正常的客户端更新看起来像异常,攻击者可能会利用这些异常,因此自适应异常检测方法,例如 江 等人提出的方法。 和 Pan 等人。 有助于区分数据的自然变化和对抗性作。
3.2.2异步方案
为了缓解落伍者问题,已经提出了各种异步方案。这些方案根据客户端首次收到全局模型时当前轮次与上一轮之间的时间差更新全局模型.例如,Lu 等人。提出的 FedAAM,它采用自适应权重分配算法,根据客户端更新的贡献为其分配动态权重,同时考虑更新的及时性和质量等因素。该框架引入了两个基于差异化策略的异步全局更新规则,允许全局模型根据其性能和更新频率以不同的客户端贡献进行更新。此外,FedAAM 通过使用历史全局更新方向整合全球动量,有助于平滑全局更新过程并管理客户端之间的异步性,从而提高训练效率和收敛行为。然而,Schlegel 等人。报告说,这些方案通常不会收敛到全局最优。他们进一步提出了两种方案来避免这个问题。CodedPaddedFL 将一次性填充与梯度代码相结合,以确保落伍者的弹性,同时保持隐私,在 MNIST 数据集上实现 18 倍的加速和 95% 的准确率。CodedSecAgg 基于 Shamir 的秘密共享,提供了针对模型反演攻击的落伍弹性和鲁棒性,在类似的准确性方面以 6.6-18.7 的加速系数优于最先进的 LightSecAgg。
3.2.3修剪
修剪既可以作为 FL 中的一种优化策略,也可以作为一种潜在的安全措施。它是一种用于通过删除不太重要或休眠的神经元和连接来减少机器学习模型的大小和复杂性的技术。此过程有助于解决 FL 环境中典型的计算和通信限制,在这些环境中,客户端的资源通常有限.此外,选择性修剪可以通过删除未净数据激活的神经元来增强安全性并减轻后门攻击。但是,如果攻击者使用修剪感知方法,这种防御方法可能效果较差.
3.2.4对抗性训练
FL 中的对抗训练是一种防御机制,其中每个客户端在训练期间在本地生成对抗性示例,以增强其模型更新对抗性攻击的鲁棒性。然后,这些经过对抗训练的本地模型由中央服务器聚合,使全局模型能够在不直接暴露客户端数据的情况下学习抵制对抗性输入,从而以分布式和隐私保护的方式提高安全性。李等人。将训练过程表述为最小-最大优化问题,解决去中心化数据和模型训练的独特挑战。他们还提供了详细的收敛分析,证明在适当的条件下最小损失可以收敛到一个小值,并引入梯度近似技术来提高培训效果,特别是对于非 IID 客户。
3.2.5个性化解决方案
本节介绍不符合上述类别的定制解决方案。它重点介绍了最近研究中最新颖、最有前途的方法,展示了增强 FL 环境安全性的创新方法。
傻瓜黄金它是一种专门用于对抗有针对性的中毒女巫攻击的防御方法。它识别具有与女巫克隆相似行为和特征的客户端。然后,它会根据这些客户端贡献的相似性调整他们的学习率,有效减少恶意更新的影响并减轻攻击 .该技术还提供了一种解决第 2.32.32.3 节中介绍的非 IID 数据问题的方法,检测过度代表的梯度并降低来自表现出异常高相似性的客户端的贡献,从而确保在异构数据变化的情况下进行更公平的聚合。然而,当合法更新相似时,这些方法也往往会惩罚它们,导致模型性能显着下降.一些实验表明,FoolsGold 可能完全无法训练模型,从而可能消除重要的局部模型。此外,由于记忆中间结果(例如之前 FL 训练轮次的模型)需要大量的缓存要求,该方法在与大型语言模型集成时可能会遇到限制.
FL-后卫 :FL-Defender 由 Jebreel 等人提出,是一种旨在对抗有针对性的中毒攻击的防御机制,专门针对标签翻转(一种中毒攻击)和后门攻击。与 FoolsGold 类似,FL-Defender 从 Worker 的更新中提取最后一层梯度,并计算余弦相似度以检测攻击模式,然后使用 PCA 进行降维以关注最相关的特征。在聚合过程中,它会根据历史偏差重新加权更新,最大限度地减少中毒数据的影响,同时保持模型性能并保持较低的计算开销。其聚合方法类似于 Krum 和 Trimmed Mean。但是,FL-Defender 通过重新加权更新而不是直接拒绝更新来添加自适应组件。
火焰 :它是一个强大的防御框架,旨在应对后门攻击,同时保持全局模型的良性性能,即使在非 IID 数据设置中也是如此。与依赖有限攻击者模型或因噪音过大而降低性能的传统防御不同,FLAME 动态估计并注入最佳高斯噪音量以消除后门。其基于集群的方法有效地将恶意更新与良性更新区分开来,确保尽管数据异构性,但也能实现稳健的聚合。此外,权重裁剪限制了异常值更新的影响,使 FLAME 能够保持较高的模型精度,同时有效消除对抗性后门。
彭巴斯草原 :Ching 等人提出通过在用户和边缘服务器之间划分模型来对抗 GAN 攻击,用户仅训练部分模型以增强安全性和效率。他们的方法旨在优化模型分区以抵御 GAN 攻击并最大限度地减少总训练时间,同时解决计算、传输和维护数据隐私之间的权衡问题。
PPFDL : Xu 等人提出了一种解决方案,旨在通过优先考虑高质量的数据贡献来减少不规则用户(频繁或不可预测地加入和离开训练过程的用户)对训练准确性的负面影响。该方法使用 Yao 的乱码电路和加法同态密码系统确保用户信息的机密性。PPFDL 还可以防止用户退出,只要某些用户保持在线状态,培训就可以继续进行。
LeadFL : Zhu 等人提出了一种针对后门和中毒攻击的客户端防御机制,该机制在局部模型训练中引入了一种新的正则化项,以抵消局部梯度的 Hessian 矩阵。此外,正则化有助于解决第 2.32.32.3 节中探讨的非 IID 问题,方法是中和对抗梯度模式,提高异构数据设置中针对后门和有针对性攻击的鲁棒性。与现有防御不同,LeadFL 专门针对 Hessian 矩阵,以增强针对突发对抗模式的鲁棒性,从而有效处理许多服务器端防御难以解决的恶意客户端活动的高方差。LeadFL 旨在与现有的服务器端防御一起工作,通过补充其他机制而不是作为独立解决方案来增强整体安全性。
通过 :为了解决 FL 中的搭便车攻击,本文引入了基于参数审计的安全公平 FL 方案 (PASS)。PASS 采用隐私保护策略 (PASS-PPS),将弱 DP 与高斯机制和参数修剪机制相结合,以在参数审计期间保护数据。此外,PASS 利用一种新颖的贡献评估方法来准确衡量每个客户的表现,确保培训过程的公平性并阻止 AFR 和自私 SFR 攻击。
鼠尾草流 :它引入了一种过时感知分组方法,可与 Multi-Krum 等强大的聚合规则无缝集成。这种方法通过熵滤波和损失加权平均增强了抵御对手的能力,有效管理非 IID 数据分布,并在实际场景中优于之前的 Zeno+ 等方法。
FedRL回收 :它利用区块链技术来解决联邦强化学习中的关键挑战。该框架具有用于对抗恶意客户端作的新颖验证算法、用于避免全局模型偏差的聚合权重方案以及用于提高收敛速度的增强 FedAvg 算法。
在表 666 中,我们提供了防御机制与它们旨在缓解 FL 中的相应攻击或威胁之间的关系。某些防御措施,如强大的聚合算子和异常检测,可以解决各种攻击,例如中毒、基于 GAN、女巫、后门、搭便车、干扰和规避。异步方案、修剪和个性化解决方案更具体地侧重于解决与客户端异构性和连接性相关的落后和辍学问题。
攻击/威胁 | |||||||||
防御 |
中毒 |
基于 GAN |
西比尔 |
后门 |
搭便车 |
干扰 |
规避 |
掉队 |
辍学 |
稳健的聚合运算符 |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ | |||
异步方案 |
✔ |
✔ |
✔ |
✔ | |||||
修剪 |
✔ |
✔ |
✔ | ||||||
对抗性训练 |
✔ |
✔ |
✔ |
✔ | |||||
个性化解决方案 |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
表6:安全FL的防御机制与攻击的关系
因此,表 666 连同对评估论文的分析,通过说明各种防御机制针对不同类型攻击的有效性,揭示了对佛罗里达州当前安全形势的重要见解。一个值得注意的观察结果是强大的聚合运算符和异常检测技术占据主导地位,它们可以解决最广泛的威胁。这表明对抗性纵,特别是中毒、女巫和后门攻击,仍然是 FL 安全的核心问题。然而,仅靠这些方法是不够的。例如,虽然稳健的聚合增强了对模型和数据中毒的恢复能力,但它不能直接对抗干扰攻击,干扰攻击会破坏通信而不是纵训练数据。 表 666 还强调了一个持续的挑战:没有一种单一的防御机制可以全面缓解所有安全威胁,这强调了混合方法的必要性。个性化解决方案和对抗性培训通过针对特定攻击媒介定制安全机制提供了有希望的进步,但在搭便车和规避攻击的背景下,它们仍然没有得到充分探索。FL 攻击的日益复杂,需要不断完善防御策略,整合多种技术以全面应对新兴的对抗策略。
经验 教训:对 FL 中安全攻击和防御的分析揭示了几个关键见解。首先,对抗策略的日益复杂凸显了对自适应和多层防御机制的需求。虽然强大的聚合算子和异常检测仍然是基本防御,但对手不断开发新的中毒和后门攻击策略,以规避传统的过滤方法。这方面凸显了静态、基于阈值的防御的局限性,并激发了对更具适应性、实时技术的需求。其次,客户端异构性和参与动态会显着影响 FL 安全性,因为攻击者可以利用落伍、辍学和搭便车等现象,这强调了个性化和激励一致的解决方案的重要性。然而,当前的大多数解决方案都假设诚实或统一分布的客户端,这在防御对抗性异质性和共谋方面留下了差距。此外,基于女巫的勾结和 GAN 驱动的攻击的快速演变等对抗策略强调了持续监控和适应性对策的必要性。然而,没有标准化的框架来评估不同威胁类型的这些防御措施。最后,虽然许多防御措施都侧重于保护全局模型完整性,但对客户端安全解决方案的需求也越来越大,以便在聚合之前在本地检测和缓解威胁。
3.3安全FL防御的比较分析
在本小节中,我们分析定量和实验研究,以评估先前防御在特定场景下的有效性。例如,Li 等人等研究。 和 Zhang 等人。 提供不同攻击中各种 FL 防御机制的详细定量比较。在非靶向模型中毒攻击下,如 Fang 等人。 攻击时,Bulyan 表现出卓越的鲁棒性,与 Trimmed Mean (78%) 和 Krum (75%) 相比,以 20% 的对抗客户端比率实现了高达 85% 的全球模型准确率。然而,Bulyan 的计算复杂度 (O(dn2)可能会阻碍大规模 FL 系统的可扩展性。对于有针对性的后门攻击,FLTrust 使用小型可信数据集,在良性任务上实现了超过 90% 的准确率,同时将后门成功率抑制在 5% 以下,优于 Trimmed Mean,后者实现了 85% 的良性准确率,但在后门抑制方面遇到了困难。FLAME 通过动态添加噪声来缓解后门,同时将模型性能保持在 88% 左右,从而成为高度异构数据设置中的有力候选者。修剪平均值平衡了优先考虑低开销的场景的简单性和有效性。因此,防御的选择取决于攻击类型和系统限制:建议将 Bulyan 用于小型系统中的非针对性攻击,而 FLTrust 和 FLAME 则适用于有针对性的攻击或非 IID 数据分发。
除了稳健的聚合之外,文献还报告了我们分类法中其余四个防御家族的竞争结果。异步方案,例如 FedAAM和 CodedPaddedFL一旦部分梯度可用,就通过更新全局模型来解决落伍和干扰问题。在 MNIST 上,CodedPaddedFL 提供了大约95%准确性,同时提供18×在客户端速度慢或干扰的设置中,与同步 FedAvg 相比,时间减少;由于编码填充,成本大约是上行链路带宽增加两倍。此外,基于修剪的防御在每轮聚合后都会去除休眠或高度可疑的神经元。表明神经元修剪可以将 Fashion-MNIST 后门攻击成功率 (ASR) 从99.7%自2%.对抗训练强化了模型,防止推理时间纵。例如,pFedDef将鲁棒性 PGD 扰动提高大致60%在 CIFAR 数据集上,同时保持具有竞争力的干净精度。最后,个性化解决方案可以减轻女巫和搭便车的行为。例如,Sageflow进一步将个性化加权与熵滤波相结合,产生12%在女巫加散兵混合设置下收敛速度的提高。
这些结果证实,每个防御系列在特定的威胁模型和资源预算下都表现出色:异步协议优先考虑活跃性,修剪目标隐秘后门,对抗训练增强预测时间的稳健性,个性化审计加强公平性,防止女巫或搭便车行为。因此,平衡的部署应该混合互补机制,例如,将 Bulyan 与 FedAAM 配对以实现完整性和活跃性,或将 Trimmed-Mean 与 pFedDef 耦合以抵抗中毒和规避,而不是仅依赖稳健的聚合。
4佛罗里达州的隐私
遵循图中描述的分类法。 444,我们将在本节中描述 FL 中针对隐私的主要攻击和防御。对于攻击,我们提供了具体的机制、伤害程度以及现实世界中表现的具体例子。在每个小节的末尾,我们提供了一些在分析有关佛罗里达州隐私攻击和防御的论文后吸取的一些经验教训。
4.1隐私攻击/威胁
在机器学习中,隐私攻击和威胁是指对手在机器学习模型的训练或推理阶段用来损害个人隐私或敏感数据的技术或策略。这些攻击旨在利用 ML 过程中的漏洞来未经授权访问私人信息或推断个人的敏感属性.在FL领域,隐私攻击是指对手在训练过程中试图破坏数据隐私。这些攻击允许从本地或聚合的全局模型中提取敏感信息,以推断、重建或导致数据泄露。特别是,我们根据以下四个主要维度对此类攻击进行分类。首先,推理方法区分了被动攻击(例如梯度反演)和主动攻击(例如金丝雀梯度),后者依赖于观察共享更新而不注入恶意行为,而主动攻击(例如金丝雀梯度)则纵或扰动更新以增加数据泄露。其次,受相位影响区分了主要发生在训练期间的泄漏(例如基于梯度的重建)和在推理时出现的泄漏(例如对最终模型输出的成员资格推理)。第三,对手的角色阐明了攻击者是内部人员(可以访问本地计算的合法 FL 客户端),还是拦截或窃听通信的外部人员,例如通过中间人策略。最后,攻击范围指定攻击是单轮、发生一次(例如,单个窃听实例)还是多轮(在多次迭代中逐渐积累敏感信息)(如重复梯度反转尝试)。因此,表 777 总结了每个已知的隐私威胁如何适应这四个维度。当威胁跨越多个类别(例如,同时表现出被动和主动行为)时,我们会明确标记该重叠。
表7:FL 中隐私攻击的分类
隐私攻击 |
方法(被动与主动) |
受影响的相位 |
对手的角色 |
攻击范围 |
目标/效果 |
梯度反转 |
被动 |
训练 |
知情人 |
多轮 |
重建私有数据 |
梯度抑制 |
积极 |
训练 |
知情人 |
多轮 |
放大数据泄露模式 |
成员推断 |
被动或主动 |
推理 |
局外人/局内人 |
单轮 |
检查训练中是否使用了数据样本 |
金丝雀渐变 |
积极 |
训练 |
知情人 |
多轮 |
插入小触发器以推断敏感信息 |
模型不一致 |
积极 |
训练 |
预览体验成员(服务器) |
单轮 |
比较不同型号的用户更新 |
基于GAN的推理 |
积极 |
训练 |
知情人 |
多轮 |
生成揭示分布的合成数据 |
窃听 |
被动或主动 |
训练/推理 |
局外人 |
单轮或多轮 |
拦截模型更新或网络流量 |
无意的数据泄露 |
被动 |
训练 |
局外人/局内人 |
单轮或多轮 |
利用意外的梯度曝光 |
以下部分通过定义其性质、目标、后果和文献中提出的示例来探讨 FL 中最相关的隐私攻击。
4.1.1梯度作
FL 中的梯度纵涉及利用共享梯度来推断或重建敏感数据,从而带来重大的隐私风险。这包括梯度反演、通过推理重建和金丝雀攻击等技术,凸显了 FL 梯度共享机制中的漏洞。
梯度反演攻击
这些攻击利用 FL 聚合过程中共享的梯度或权重更新来重建私人数据,带来重大的隐私风险 .这些攻击通常利用优化技术或梯度和输入之间的线性关系来推断敏感信息。例如,Kariyappa 等人。 引入了鸡尾酒会攻击 (CPA),它使用独立的成分分析从聚合梯度中恢复私有输入,展示了其对大批量的可扩展性。这凸显了梯度反演即使在高维环境中也会损害隐私。李等人。 提出了端到端梯度反演(E2EGI)攻击,该攻击通过反转梯度来迭代重建训练数据,展示了其在多次迭代中侵犯隐私的潜力。帕斯奎尼等人。 进一步探讨了两种变体:一种基于被动优化的方法,在没有主动干扰的情况下推断私有训练集,另一种是纵模型更新以放大隐私泄露的主动攻击。这些方法强调了攻击者用来利用梯度的微妙机制。 梯度反演攻击的后果是严重的。在现实场景中,此类攻击可能会暴露 FL 系统中使用的敏感医学图像或财务记录,从而违反隐私法规并导致滥用 .然而,Huang 等人。 认为实际风险可能会通过大批量和局部迭代等因素来减轻,这些因素会降低重建保真度。同样,Boenisch 等人。 观察到梯度反演经常受到局部最小值的影响,并且需要大量迭代才能进行有意义的数据恢复,这限制了其在某些生产环境中的可行性。 实现通常需要拦截聚合梯度并运行局部优化循环,以细化随机输入,直到梯度与观测到的信号匹配。加密或剪切梯度会降低攻击者的可见性或精度,从而部分阻碍这一点,尽管可能会出现一些准确性权衡。
相比之下,梯度抑制攻击涉及在聚合过程中恶意抑制梯度以纵全局模型更新 .通过隔离单个更新,攻击者可以放大用户数据中的特定模式,从而增加暴露风险。此类攻击可以推断出用户数据集中是否存在特定数据点,从而实现有针对性的跟踪 。虽然它们的机制与梯度反演不同,但抑制攻击同样利用梯度共享协议中的漏洞。 梯度抑制的实现通常涉及在将某些梯度组件发送到服务器之前拦截或无效它们,通常是通过修改本地反向传递。部分防御策略是依靠加密检查来确保跨维度的梯度一致性,从而防止攻击者有选择地屏蔽或删除关键特征。
通过推理进行重建
这是一种威胁隐私的场景,攻击者试图通过分析 FL 过程中共享的模型更新或输出来重建或推断有关单个客户端训练数据的敏感信息 .此类攻击利用了 FL 中梯度共享机制的固有漏洞。例如,对手可以使用梯度反演等技术对梯度中的特定数据点或模式进行逆向工程,正如 Chen 等人所证明的那样。 .他们确定了两种不同类型的重建攻击。第一种称为提取攻击,专注于以最小的计算成本准确重建单个训练样本。这种攻击利用先进的优化技术来提高重建的准确性,对数据隐私构成重大风险。第二种类型是纵重建数据,允许攻击者从梯度中恢复私有训练数据和标签,然后修改这些数据以对模型执行有针对性的攻击。例如,在医疗保健 FL 应用程序中,攻击者可以重建医院之间共享的敏感医学图像,并纵它们来误导诊断模型 .攻击者主要依靠最终模型输出或部分梯度快照进行离线重建,只需对 FL 管道进行最少的更改。梯度掩蔽或加密聚合等防御措施会降低可用信息的粒度,从而限制重建的成功。
金丝雀渐变
金丝雀梯度攻击是佛罗里达州的隐私泄露,攻击者利用聚合过程中共享的梯度或权重更新来推断敏感信息。它的名字来源于在煤矿中使用金丝雀来检测有毒气体 . 在这种攻击中,对手将精心设计的小扰动注入客户端的梯度或权重更新中,并观察服务器的响应以推断私人数据。例如,此类攻击已被证明可以在某些条件下重建敏感的客户端数据,引发了人们对 FL 隐私保障的担忧 . 马多克等人。 提出了 CANIFE,这是一种通过引入对抗性制作的“金丝雀”样本来评估 FL 中经验隐私风险的方法。这些样本用于衡量模型对隐私泄露的风险,表明经验每轮隐私损失明显比理论界限更严格。这种方法突出了 FL 系统中的漏洞,例如在现实场景中容易受到梯度反演攻击,而理论上的 DP 保证可能会低估这一点。通过对隐私风险进行现实的评估,CANIFE 强调了当前防御中的差距,并强调了强大的威胁模型对 FL 的重要性。为了进行金丝雀攻击,对手可以将难以察觉的“签名”注入到局部梯度中,然后检查这些签名是否重新出现在全局模型的更新中。剪辑(参见第 4.24.24.2 节或加密梯度会稀释此类签名,从而最大限度地减少攻击者确认敏感数据存在的能力。
4.1.2成员推断
在这种隐私威胁中,对手试图确定特定数据点是否是 FL 过程中使用的客户端训练数据集的一部分。此类攻击主要旨在验证单个数据点的成员状态,辨别它们是否属于客户端的私有训练数据 . 这种侵犯隐私的行为可能会导致身份或敏感属性的泄露,从而破坏数据贡献者的机密性和匿名性。张等人。 重点介绍了两种具有不同机制和影响的成员身份推理攻击。中毒成员资格推理攻击涉及对手将精心制作的恶意样本注入训练数据中以检测成员资格。例如,通过观察中毒示例如何改变模型丢失,攻击者可以推断出成员资格,从而在患者数据高度敏感的医疗保健 FL 系统中带来严重风险。黑盒成员身份推理攻击,例如 Memguard ,无需直接访问训练数据或模型即可运行。这些攻击会生成对抗性查询来利用模型预测并推断成员身份,这可能会损害推荐系统中的用户匿名性。帕斯奎尼等人。 强调对手可以利用模型更新或查询响应来增强他们的猜测。这些攻击造成的危害超出了隐私泄露的范围,因为它们可以促进属性推理攻击等进一步的隐私威胁,从而对 FL 系统的整体安全性产生连锁反应。 具体来说,成员资格推理通常会查询全局模型对特定输入的置信度分数。对本地或服务器端脚本进行小的修改可以跟踪这些分数模式,从而暴露训练集成员身份。局部 DP 或随机化置信度输出等防御技术会抑制攻击的可靠性。
4.1.3模型不一致
此攻击利用了 FL 协议中由于安全聚合使用不当和缺乏参数验证而导致的漏洞。具体来说,恶意服务器在同一训练轮中将不同版本的模型分发给不同的用户。服务器可以分析用户更新中的行为差异,即使这些更新是安全聚合的。该攻击利用了这样一个事实,即不同的模型参数可能会导致梯度更新中可检测到的差异,从而泄露敏感的训练数据。例如,Pasquini 等人。 证明这种方法可以推断私人信息,而不管客户端数量多少。现实世界的影响包括敏感数据普遍存在的医疗保健和物联网等应用的风险。张等人。 进一步指出,全局模型和局部模型之间的不一致可以反映攻击相关信息,从而有可能指导个性化 FL 算法提高故障诊断准确性。这些发现强调了模型不一致攻击的严重隐私风险及其大规模危害 FL 系统的可能性。 这种攻击的实施只需要对服务器端进行轻微的更改——在一轮中为每个客户端分配略有不同的模型参数。建议的缓解措施是验证客户端之间的模型一致性或利用安全的多方聚合来确保相同的参数分布。
4.1.4基于 GAN 的推理
FL 中基于 GAN 的推理攻击使用 GAN 来推断有关单个客户端持有的训练数据的敏感信息。此攻击旨在创建一个生成器网络,该网络可以生成与本地客户端模型中用于训练的数据无法区分的数据样本 .攻击者可以有效地确定特定数据点是否是客户端训练数据集的一部分,从而进行成员资格推理。例如,在医疗诊断场景中,此类攻击可能允许恶意客户端从 FL 更新期间共享的梯度推断出敏感的患者状况 .此类攻击的后果是严重的,因为它们会泄露训练期间使用的数据点,从而侵犯隐私,从而导致潜在的滥用或歧视风险。黄、翔 引入跨客户端 GAN (C-GAN) 攻击,其中恶意客户端重建类似于其他客户端训练数据分布的样本。这使得对手能够通过泄露良性客户端的敏感数据来损害隐私,正如涉及从医学数据集重建图像的实验中所证明的那样。 攻击者通常会在全局模型旁边训练本地生成器,细化模仿真实客户端数据的合成样本。通过使用加密或嘈杂协议(例如 DP)限制梯度可见性,防御者阻碍了生成器收敛敏感分布的能力。
4.1.5窃听
在此威胁中,攻击者会拦截客户端和中央服务器之间的通信。它是通过嗅探网络流量或破坏客户端或服务器的设备来完成的 .窃听攻击的目标通常包括窃取 FL 模型、从客户端数据中推断敏感信息以及破坏 FL 进程。郭等人。 识别了四种类型的窃听攻击:被动窃听,攻击者在不更改数据的情况下监控通信;主动窃听,涉及数据修改,如注入恶意梯度;中间人 (MitM) 攻击,拦截和中继消息,对数据完整性和机密性构成重大风险;和网络嗅探,捕获网络流量以提取敏感信息。 实际窃听通常利用不安全的 Wi-Fi 或加密不充分。攻击者只需要数据包捕获工具即可观察本地更新。配置传输层安全性 (TLS) 或实施完全 HE (FHE) 进行参数交换可以有效阻止被动拦截。
4.1.6无意的数据泄露
后者并不完全是攻击,但它更像是一个漏洞,攻击者一旦发现就可以利用。当私有训练数据通过 FL 系统中部署的梯度共享机制泄露时,就会发生这种情况。这样做的目的是从共享的聚合梯度中恢复批处理数据。后者可能是灾难性的,并通过窃听共享梯度导致用户的私人数据重建。在标准 FL 中,尤其是垂直情况,从训练梯度中泄露机密数据的风险很高。对于 Nair 等人。,这些漏洞是 FL 的一个问题,因为在梯度传输作期间存在数据泄露和对抗性攻击的可能性。当梯度在 FL 系统中的客户端之间传输时,可能会发生这些威胁。齐兹等人。引入 CAFE(垂直 FL 中的灾难性数据泄露)攻击,这是 FL 中的一种高级数据泄露攻击,旨在从共享聚合梯度中恢复私有数据。它解决了现有方法在可扩展性和数据恢复理论理由方面的局限性。攻击算法包括三个步骤:(1)恢复第一全连接(FC)层输出的损耗梯度。(2)使用恢复的梯度作为学习的正则化器,提高数据泄露攻击的性能。(3)使用更新后的模型参数进行数据泄露攻击。当部分梯度细节或中间层输出无意中暴露了私人特征时,就会出现这种泄漏。最小化或屏蔽这些信号(通过安全聚合或随机化)会降低攻击者重新组合原始训练数据的精度。
图6:与一段时间内的隐私攻击相关的论文
利用所做的文献综述,我们检索了当前文献中包含的隐私威胁列表。 无花果。 666 表明隐私攻击研究出版物显着增加,反映出该领域的意识和关注度不断提高。2018 年初至 2020 年,研究成果很少,对攻击类型的影响也很窄。然而,自 2021 年以来发生了显着转变,研究的数量和范围大幅增加。成员推理和通过推理重建等攻击获得了巨大的关注,特别是在 2023 年和 2024 年。与此同时,基于 GAN 的推理和梯度反演/抑制的研究大幅扩大,在 2024 年达到明显峰值。近年来,无意数据泄露成为研究重点,增加了多元化的格局。2024 年将以最全面的涵盖各种攻击类别的年份脱颖而出,表明对隐私保护研究的更加关注。这一进展凸显了隐私威胁的动态性质,并展示了学术界在应对数据隐私保护方面不断变化的挑战方面的积极立场。
4.2隐私防御
与此同时,随着 FL 上攻击和威胁的范围和复杂性不断增加,新的防御措施也不断涌现,以抵消其有害影响. 以下部分通过定义它们的概念、优点、缺点以及每种类型的防御可以防御的攻击,探讨了 FL 中最相关的隐私防御,这些攻击在最新的相关文献中提出。
4.2.1零知识证明
基于零知识证明的FL(ZKP-FL)方案利用零知识证明进行本地数据的计算和局部模型参数的聚合,旨在验证计算过程,而无需本地数据的明文。邢等人。前提是在区块链上,ZKP-FL 允许 FL 系统中的客户端向中央服务器证明他们已经计算了正确的模型更新,而无需泄露其底层数据。它有助于防止旨在从联合模型或 FL 进程推断敏感信息的攻击。FLAG 框架利用 ZKP-FL 技术提供安全计算,而不会泄露敏感信息。它可以防止数据泄露、推理攻击和未经授权访问敏感信息。它为佛罗里达州的安全聚合提供了一个轻量级且高效的框架。然而,实现 ZKP-FL 协议需要额外的计算资源,由于需要安全通信和加密,这可能会带来复杂性和开销。
4.2.2遗忘转移
FL 中的遗忘传输 (OT) 是指一种加密协议,它允许客户端从服务器获取多个潜在值中的一个,而无需向服务器透露所选值。欧贝特科技使客户能够在不泄露敏感数据的情况下安全地访问和检索服务器中的信息,从而确保 FL 的隐私和机密性。拉西等人。在FL中引入了ELSA(Ensemble Learning with Semi-honest Aggregators)作为防御机制,以在聚合过程中保护单个梯度的隐私。ELSA 采用 l2 范数边界来防御来自恶意客户端的提升梯度。它由多个层组成,其中包含半诚实和对抗性隐私防御。与其他证券相比,ELSA 的 l2 规范保护相对简单,适合处理秘密股票。ELSA 无法保证公平性,因为它无法区分恶意服务器和恶意客户端,这可能导致一些诚实客户端的输入未被用于计算。ELSA 的隐私防御旨在保护聚合过程中各个梯度的隐私,限制全球聚合的信息泄露。
4.2.3同态加密 (HE)
HE 是一种加密技术,它能够对加密数据执行计算,产生加密结果,解密后与对(原始)明文执行的相同作的结果相匹配。辛格等人。讨论使用 HE 来保护医疗保健系统中的关键数据,允许计算使用加密数据而不解密,从而保护隐私。它支持在 FL 中安全共享和分析数据,而不会向中央服务器或其他客户端泄露敏感信息。然而,它是一项复杂的技术,需要专业知识和基础设施才能实施。该解决方案可防止未经授权的访问、数据泄露和推理攻击。HE 是 SoK 的关键组成部分佛罗里达州的防御策略。它通过确保数据在整个计算过程中保持加密来提供强大的隐私保证。然而,它可能会带来明显的缺点,包括计算开销和由于处理加密数据的复杂性而增加的通信成本。它可以抵御各种威胁,包括窃听和数据推理攻击,最终增强 FL 系统的隐私性。
4.2.4秘密共享
FL 中使用密钥共享 (SS) 在多个客户端之间分发敏感信息,例如模型参数。它涉及将密钥分成多个共享并将它们分发给不同的客户端,确保没有一个客户端可以访问完整的密钥。tMK-CKKS的通过机密共享,提供信息论安全性,使其不受与服务器协同工作的多达 T-1 客户端的共谋攻击的影响。即使许多客户联手,他们也无法推断出主人的秘密的细节。它涉及在所有客户端之间分发主公钥以进行加密。此外,每个客户端的单独密钥是使用线性密钥共享方案生成的。值得注意的是,聚合密文的解密只需要一个特定的阈值 t 客户端的合作。这种秘密共享和阈值要求的谨慎平衡增强了 FL 系统的隐私性。
4.2.5MPC的
MPC 允许多个客户端协作计算其私有输入的函数,而无需相互披露这些输入。班加罗尔等人。提议的 FLAG 可扩展到 1000 多个客户端,只需要恒定数量的轮次,在计算成本方面优于先前的工作,并且具有具有竞争力的通信成本。但是,由于需要安全协议和加密,它可能会引入计算开销。它有助于防御旨在在佛罗里达州聚合过程中损害用户持有数据隐私的攻击。曼苏里等人。提出的 SoK,这是 FL 中的一种防御机制,专注于来自多个来源的数据的 MPC,而不泄露单个输入。它提供隐私保护并防止对手推断敏感信息。SOK 防御在 FL 中具有优势,例如确保个人数据贡献保密,使攻击者难以通过混淆个人数据贡献来实施这些攻击。一些缺点可能包括额外的计算开销和通信成本、专业的加密知识以及确保效率和可扩展性的精心设计。SoK 专门设计用于防止成员资格推理和数据重建攻击。
4.2.6DP
纳吉等人。提出了一种用于自然语言处理的隐私保护 FL 框架,将本地差分隐私 (LDP) 作为强大的防御机制。LDP 保护个人数据贡献的隐私,在与服务器共享之前为模型更新引入噪音。LDP 的关键优势是,潜在攻击者很难推断出有关个人数据贡献者的敏感信息。然而,引入噪声可能会影响训练的机器学习模型的准确性,因此需要在隐私保护和模型实用性之间取得谨慎的平衡。LDP 是一种防御攻击的防御手段,旨在发现有关个人数据贡献者的敏感信息。动态差分隐私(DDP),由Guo等人提出。,涉及在模型训练过程中动态调整隐私预算和噪声尺度,从而允许在固定隐私预算下获得更高质量的模型。它有助于获得更高质量的模型和实时隐私跟踪,防止超出隐私预算,从而导致敏感信息泄露。这种方法的一个缺点是它需要在每次迭代中仔细调整和注入噪声,这增加了 FL 过程的复杂性。它在防御窃听攻击方面特别有效。
4.2.7渐变剪切
FL 中基于梯度的防御涉及在训练期间修改梯度以防止对抗性攻击。这些防御旨在通过扰动梯度或添加噪声来使模型更加稳健。陈等人。提出了 FedDef 作为 FL 中一种基于优化的输入扰动防御,旨在通过将私有数据转换为与原始数据不同的伪数据,同时保持相似的梯度来保护隐私和 FL 模型性能。用户从服务器下载全局模型,并在本地训练期间使用 FedDef 来转换他们的数据和梯度。但是,需要考虑 FedDef 的计算和内存开销,与 HE 相比,在性能方面。FedDef 防御重建攻击,例如反演攻击、提取攻击和纵重建数据的攻击。梯度剪裁限制了来自单个客户端的更新大小,确保来自倾斜或非 IID 数据的大量更新不会对模型性能产生不成比例的影响。
李等人。研究梯度剪裁和稀疏化作为 FL 中的防御机制。梯度剪辑涉及在训练期间为梯度的大小设置阈值,并在超过阈值时将其缩小。该技术通过控制梯度幅度来帮助降低隐私泄露风险,从而更难从中推断出敏感信息。然而,在隐私和模型性能之间取得适当的平衡至关重要,因为过于严格的阈值可能会阻碍学习。另一方面,梯度稀疏化通过选择性地仅传输超过指定阈值的梯度子集来增强隐私性。后者减少了与中央服务器共享的信息,最大限度地降低了隐私泄露的风险。虽然它提供了强大的隐私保护,但它可能会引入计算开销,并通过丢弃某些信息来影响学习过程。
4.2.8个性化解决方案
审查的参考文献提供了量身定制的解决方案,旨在提高 FL 环境的安全性。下面提到了最相关的。
群众
群众是一种创新方法,将移动众感 (MCS) 与 FL 相结合,以解决隐私问题,同时利用客户端的计算能力。在这个系统中,参与者可以使用FL框架进行本地数据处理,确保敏感的传感数据保留在他们的客户端上。只有加密的训练模型才会上传到服务器,从而保护客户端的隐私。CrowdFL 通过利用 MCS 的大规模数据收集功能提供可扩展性,并通过消除对大量集中式基础设施的需求来降低部署成本。FL 与 MCS 的集成增强了隐私性,使其成为保护隐私的移动众感应用的经济高效且可扩展的解决方案。
索特里亚
索特里亚是针对FL中模型反演攻击的防御机制。辩护的重点是扰动数据表示,以严重降低重建数据的质量,同时保持 FL 性能。它旨在通过解决梯度导致的数据表示泄露来提高 FL 系统的隐私性,梯度已被确定为隐私泄露的根本原因。应用保护后,它为 FL 提供经过认证的鲁棒性保证,为 FedAvg 提供收敛保证。随着 Soteria 防御的实施,FL 系统的隐私性得到了显着改善。Soteria 旨在防御 FL 中的模型反演攻击,特别是梯度 (DLG) 和梯度跟踪 (GS) 攻击的深度泄漏。这些攻击旨在通过利用 FL 的漏洞进行推理攻击来推断私人数据。Soteria 确保扰动的表示与真实表示保持相似,以实现有效学习,但会降低重建数据的质量,从而减轻非 IID 数据分发造成的加剧的隐私风险。
FL图筋
:FLTrust 是一种旨在增强 FL 隐私性的防御机制,旨在通过根据恶意客户端的行为和对模型训练过程的贡献来评估其可信度,从而检测和缓解 FL 过程中的恶意客户端。FLTrust 利用信任评分来评估客户的可靠性,并就将其纳入 FL 系统做出明智的决策。它依赖于信任分数,而信任分数可能并不总是准确反映客户的真实意图。信任评估中的误报或漏报会影响防御机制的公平性和有效性。FLTrust 防御涉及 FL 中恶意客户端的攻击,例如拜占庭中毒对抗性攻击、本地模型和拜占庭鲁棒 FL 中的中毒攻击。此方法解决了非 IID 数据问题(请参阅第 2.32.32.3 节),使用受信任的服务器端数据集来评估信任分数并将其分配给客户端更新,从而确保降低恶意或有偏见的更新。
滚塑
:安全 FL 的鲁棒性 (RoFL) 是一种 FL 系统,它对客户端的更新进行了约束,以减轻严重攻击。它通过保护隐私的输入验证扩展了安全聚合。RoFL 有效地包括客户端更新的规范边界等条件,并在单服务器设置中提供安全的 FL 协议。RoFL 可以强制执行以下限制:L2和L∞高维加密模型更新的界限。RoFL即使在大规模上也能实现实用性。然而,它在计算资源方面产生了相当大的开销,尤其是带宽。它还使用公平性感知优化方法来确保客户端的平衡贡献,从而提高非 IID 数据集的整体模型性能。
普里奥
:它主要侧重于保护隐私,同时收集重要的汇总统计数据。该系统利用专门的零知识证明(称为 SNIP)来针对格式错误的梯度实施多种防御,同时确保客户端数据的机密性,免受最多一个恶意服务器的影响。它不仅保护敏感信息,还提供了针对不规则梯度实施各种防御的灵活性,从而增强了 FL 过程的整体安全性。然而,必须考虑潜在的缺点,例如由于使用零知识证明而可能产生计算开销和增加的通信成本。从本质上讲,Prio 防御在保护 FL 免受纵梯度和损害汇总统计数据完整性的攻击方面发挥着至关重要的作用,同时保护隐私。
攻击/威胁 | ||||||||
防御 |
梯度反转/抑制 |
重建通过推理 |
成员资格推断 |
金丝雀渐变 |
模型不一致 |
基于 GAN 的推理 |
窃听 |
无心的数据泄露 |
零知识证明 |
✔ | |||||||
遗忘转移 |
✔ | |||||||
同态加密 |
✔ |
✔ | ||||||
秘密共享 |
✔ | |||||||
MPC的 |
✔ |
✔ |
✔ | |||||
差分隐私 |
✔ |
✔ |
✔ |
✔ |
✔ | |||
渐变剪切 |
✔ | |||||||
加性噪声 |
✔ |
✔ |
✔ | |||||
个性化解决方案 |
✔ |
✔ |
✔ |
表8:防御机制与攻击的关系 用于私人 FL
表 888 强调了 FL 中隐私威胁和防御机制之间错综复杂的相互作用,揭示了现有方法的关键差距和优势。值得注意的是,DP 和 MPC 作为多功能解决方案出现,可以应对广泛的攻击,包括梯度反演、成员推理和无意数据泄露。然而,它们的有效性往往以计算开销和准确性权衡为代价,限制了现实世界的采用。HE 和密钥共享可针对基于梯度的攻击提供强大的保护,但对模型不一致或基于 GAN 的推理等推理威胁效果较差。个性化解决方案提供有针对性的防御,但缺乏大规模部署所需的通用性。此外,模型不一致和基于 GAN 的推理等攻击仍然防御不足,这表明需要新的对策。这些观察结果表明,虽然 FL 隐私防御正在不断发展,但平衡安全性、效率和适应性的整体方法仍然是一个关键挑战。
经验 教训:对佛罗里达州隐私威胁和防御的分析凸显了动态且不断发展的格局。梯度反演、成员资格推理和基于重建的技术等攻击继续带来重大风险,暴露了当前梯度共享协议的系统性弱点以及缺乏标准化的隐私审计框架。复杂攻击策略(包括对抗性 GAN 和模型不一致漏洞利用)的兴起强调了对更强大、自适应防御的需求,特别是那些能够在异构客户端行为和长训练周期下运行的防御。在防御方面,DP、HE 和 MPC 等隐私保护技术显示出前景,但通常会引入计算开销,并可能降低模型效用。尽管存在这些限制,混合协议(例如 DP-MPC)提供了有希望的权衡,但它们在现实世界 FL 环境中的可扩展性和部署在很大程度上仍未得到充分探索。另一个挑战是对防御战略的零散评估;事实上,大多数研究缺乏统一的基准或攻击覆盖范围,因此很难评估跨多个威胁媒介的稳健性。FLTrust 和 Soteria 等个性化解决方案可提供针对特定攻击媒介的有针对性的保护,但可能需要仔细调整以平衡安全性和效率。最后,虽然许多工作都集中在保护服务器端聚合或模型参数上,但客户端隐私保护(例如,在本地训练或设备泄露期间)仍然没有得到充分解决,这为超出当前大多数防御范围的攻击媒介创造了机会。
4.3私有FL防御的比较分析
在本小节中,我们将研究定量和实验研究,以评估以前的隐私防御在特定攻击场景下的表现 .DP 通过向梯度添加噪声来有效对抗推理攻击,但它通常会降低准确性,特别是对于代表性不足的类;DP-MPC 等较新的方法显着提高了效率(快 16-182 倍),同时保持了隐私保证。HE 通过启用加密数据的计算来确保强大的机密性,实现高精度(例如,在 MNIST 上为 99.95%),但计算成本很高。MPC,特别是与DP结合使用时,可以提高通信效率(56-794x)和速度,使其适用于隐私和效率场景。梯度剪切可以稳定训练并降低梯度爆炸的风险,但如果阈值过于严格,性能可能会略有下降。ZKP 在无需信任的环境(例如基于区块链的 FL)中提供强大的隐私性和可验证性,但计算成本可能很高。DP-MPC 由于效率和隐私的平衡,建议用于优先考虑隐私而不会产生过多开销的应用程序。尽管成本高昂,但 HE 非常适合医学成像等精度关键任务,而使用 DP 的梯度裁剪对于资源受限的场景非常有效。在需要去信任作的去中心化系统中,ZKP 很有价值,但由于其计算需求,应有选择地使用。
FL 本质上涉及隐私、安全性和模型性能之间的权衡。加强隐私机制通常会降低模型的效用,而增强安全性可能会增加计算开销 .因此,选择合适的技术取决于特定的应用需求——无论是优先考虑效率、准确性还是隐私。了解这些权衡对于设计强大且实用的 FL 系统至关重要 .
5FL 框架
FL 见证了多个框架的出现,旨在促进其应用并解决隐私和安全的各个方面。表 999 比较了针对上述 FL 框架评估的多个功能。比较涉及隐私和安全支持、攻击模拟能力、FL 实现类型以及为用户提供的文档和教程。这种比较分析使我们能够深入了解每个 FL 框架在隐私、安全性、功能和用户友好性方面的优势和劣势,帮助研究人员和从业者选择最适合其特定需求的框架。以下段落概述了最相关的 FL 框架,重点介绍了它们的特点、优点和局限性。在本节的最后,我们还提供了一些从分析框架中吸取的经验教训。
表9:FL 框架功能比较(✔:完整,◆:开发中/未完成,✘:未知/未实现)
隐顿 |
命运 |
联邦管理平台 |
联邦秤 |
FL 和 DP |
花 |
长笛 |
NVFLARE |
开放式 |
桨FL |
皮西夫特 |
TFF |
XFL的 | |
隐私和安全支持 |
◆ |
◆ |
✔ |
◆ |
✔ |
✔ |
◆ |
◆ |
◆ |
◆ |
✔ |
◆ |
◆ |
❅ 差分隐私 |
✘ |
✘ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
❅ 傻瓜黄金 |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 地球医学 |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 同态加密 |
✘ |
✔ |
✔ |
✘ |
✔ |
✔ |
✘ |
✔ |
✘ |
✘ |
✔ |
◆ |
✔ |
❅ 克鲁姆 |
✘ |
✘ |
✔ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 多克鲁姆 |
✘ |
✘ |
✔ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 范数差削波 |
✘ |
✘ |
✔ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
❅ RFA(几何中位数) |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 秘密分享 |
✔ |
✘ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
✘ |
❅ 安全聚合 |
✘ |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✔ |
◆ |
✘ |
✘ |
❅ MPC |
✔ |
✔ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✔ |
✔ |
✔ |
✔ |
❅ 修剪平均值 |
✘ |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 零知识证明 |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
攻击模拟 |
✘ |
✘ |
✔ |
✘ |
◆ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
◆ |
✘ |
❅ 数据中毒 |
✘ |
✘ |
✔ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
❅ 模型中毒 |
✘ |
✘ |
✔ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 拜占庭 |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 标签翻转 |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
❅ 后门 |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
FL 类型 |
◆ |
✔ |
✔ |
◆ |
✔ |
✔ |
◆ |
✔ |
◆ |
✔ |
✔ |
◆ |
✔ |
❅ 水平 FL |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
❅ 垂直 |
✘ |
✔ |
✔ |
✘ |
✔ |
✔ |
✘ |
✔ |
◆ |
✔ |
✔ |
✘ |
✔ |
❅ 斯普利特佛罗里达 |
✘ |
✘ |
✔ |
✘ |
✘ |
✘ |
✘ |
✔ |
✘ |
✘ |
◆ |
✘ |
✘ |
开源 |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
✘ |
文档和教程 |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
◆ |
✔ |
◆ |
◆ |
✔ |
✔ |
◆ |
隐顿 :CrypTen 是一个用 Python 实现的隐私保护 ML 框架,与 Linux 和 Windows 兼容。它基于 PyTorch 构建,提供 MPC 原语,可以在不暴露敏感信息的情况下对私有数据进行协作计算。其 API 与 PyTorch 非常相似,提供张量计算、自动微分和模块化神经网络,从而简化了安全 MPC 技术与 ML 工作流程的集成。CrypTen 支持水平 FL,但缺乏垂直和分割 FL 功能。虽然它在安全聚合和秘密共享方面表现出色,但它没有实现 DP 或高级攻击模拟。该框架是开源的、有据可查且用户友好的,使机器学习从业者可以使用它。然而,它对诚实但好奇的威胁模型的依赖以及对高级隐私机制的有限支持可能会限制其在某些对抗性场景中的应用。
命运 :FATE是一个灵活的FL框架,兼容Linux和Windows,支持Python和Java等流行的编程语言。它提供全面、安全的计算协议和多样化的机器学习算法,包括 HE 和 MPC。FATE 支持水平和垂直 FL,但缺乏拆分 FL 功能。其模块化设计通过预构建组件和用户友好的可视化工具提供端到端可用性,从而简化了隐私保护技术的实施。此外,FATE 还包括强大的文档、案例研究和教程来指导用户。但是,它没有实现 DP 或高级攻击模拟。
联邦管理平台 :FedML,也称为 TensorOpera AI,是一个多功能且强大的 FL 平台,兼容 Linux、macOS 和 Windows,用 Python 开发。它支持三种不同的计算范式:设备上训练、分布式计算和单机模拟,使其能够适应各种 FL 场景。FedML 提供灵活的 API 设计,为优化器、模型和数据集提供全面的基线实现。安全和隐私通过采用 HE 技术的 FEDML-HE 模块解决。此外,其 FEDMLSecurity 组件包括用于模拟所有类型攻击的 FedMLAttacker 和用于测试防御策略的 FedMLDefender。它没有实现高级隐私机制,例如零知识证明或 MPC。尽管存在这些限制,但其广泛的文档和强大的攻击模拟功能使其成为佛罗里达州研究和实际应用的推荐工具。
联邦秤 :FedScale 是一个与 Linux、macOS 和 Windows 兼容的 FL 基准测试套件,用 Python 实现。它提供可扩展的运行时和逼真的数据集,支持各种 FL 任务,例如图像分类、对象检测和语言建模。其高级 API 简化了 FL 算法的实施、部署和评估,使研究人员能够以最小的努力对 FL 进行大规模基准测试。FedScale 采用 DP 技术来增强安全性和隐私性,但缺乏对其他机制的支持。它支持水平 FL,但不实现垂直或拆分 FL。虽然其文档有些有限,但它包含实验所需的基本资源。
FL 和 DP :联邦学习(FL)和差分隐私(DP)框架是跨平台的,支持Linux、Windows和macOS,并以Python、Java和C++实现。它通过集成 DP 和全态加密技术来量化和减轻分布式学习过程中的隐私损失,从而强调数据隐私。该框架擅长确保隐私保护通信,但缺乏高级安全功能。它支持水平和垂直 FL,但不实现拆分 FL。虽然该框架提供了详细的文档来指导用户,但缺乏统一的愿景和明确定义的方法工作流程可能会限制其可用性和有效性。
花 :Flower 是一个与 Linux、macOS 和 Windows 兼容的开源 FL 框架,用 Python 实现。它专为大规模 FL 实验而设计,仅使用一对高端 GPU 即可支持多达 1500 万个客户端,展示了其可扩展性和效率。Flower 擅长处理异构 FL 跨设备场景,使其适用于各种实际应用。该框架通过实施各种安全聚合协议来优先考虑隐私,确保服务器无法检查单个客户端模型。但是,它缺乏对 FoolsGold 或 Geomed 等高级隐私技术的支持,并且不包括数据中毒或后门攻击等攻击模拟功能。Flower 支持水平和垂直 FL,但不实现拆分 FL。详细的文档和活跃的社区通过提供有关安装、使用和 API 参考的全面指导来增强其可用性。尽管在攻击模拟方面存在局限性,但 Flower 的可扩展性和灵活性使其成为 FL 研究和实验的推荐工具。
长笛 :FLUTE(真实环境下的联邦学习)框架是一个兼容 Linux、macOS 和 Windows 的开源工具,以 Python(版本 3.6 或更高版本)实现。它专为高性能FL研究而设计,能够对新型FL算法进行快速原型设计和大规模仿真。FLUTE 支持本地和全局 DP 方法,强调数据安全和保存。然而,它缺乏其他先进的隐私机制,并且不包括攻击模拟功能。虽然它支持水平 FL,但它不实现垂直或拆分 FL。该框架的文档可用,但不完整,没有帮助新用户的教程。
NVFLARE :NVIDIA FLARE(又名 NVFLARE)框架是一个与 Linux 和 Windows 兼容的工具。FLARE 主要支持 Python 作为开发 FL 工作流程的编程语言。其卓越的功能包括最先进的 FL 算法和方法,使研究人员能够使用 PyTorch、TensorFlow、XGBoost 或 NumPy 等流行的训练库无缝应用其数据科学工作流程。其轻量级、灵活和可扩展的特性使该框架与众不同,使其适合现实世界的 FL 场景。它通过实施 HE 或 DP 技术来确保安全和保护隐私的多方协作。NVIDIA FLARE 提供的综合文档可帮助用户利用该框架在研究和实际应用中的潜力。
开放式 :OpenFL 是一个基于 Python 的 FL 框架,与 Linux、macOS 和 Windows 兼容。它支持使用 TensorFlow、PyTorch 和其他 ML/DL 框架开发和训练 ML 和 DL 算法,增强其对不同用例的适应性。作为一个开源平台,OpenFL 为研究人员和开发人员提供了灵活性和定制选项。然而,它缺乏对安全聚合或 HE 等高级隐私保护技术的支持,从而限制了其安全功能。它支持水平 FL,但垂直 FL 的实现不完整。虽然其官方网站上提供了文档,但它并不完整,并且缺乏有效指导新用户的专门教程。
桨FL :PaddleFL 是一个基于 PaddlePaddle 构建的开源框架,通过 DP 和安全聚合等隐私保护技术支持水平和垂直 FL。它兼容多种平台和语言,但缺乏拆分 FL 和攻击模拟支持。尽管具有可扩展性,但 PaddleFL 的可用性受到稀疏文档和以中文为主的社区的限制。
皮西夫特 :PySyft 是一个兼容 Linux、macOS 和 Windows 的 FL 库,主要在 Python 中实现,并扩展了流行的 DL 框架,如 PyTorch。其使命是使机器学习中的隐私保护技术民主化,使研究人员和数据科学家能够使用它们。PySyft 支持 MPC 和 DP 等隐私增强方法。然而,它缺乏先进的安全协议,并且不提供攻击模拟功能。PySyft 实现了水平、垂直和未完成的拆分 FL 版本。其全面的文档包括详细的程序、实施指南和示例工作流程,使用户能够有效地利用该框架进行注重隐私的 FL 项目。
TFF :TensorFlow Federated (TFF) 是一个基于 Python 的框架,与 TensorFlow 集成,支持水平 FL 并结合 MPC 和 DP 等隐私机制。它包括一个用于测试攻击的模拟环境,但缺乏对垂直和拆分 FL 以及安全聚合等高级隐私技术的支持。全面的文档有助于可用性,尽管其局限性可能会限制其在高度对抗性环境中的使用。
XFL的 :XFL 是一个兼容多种平台和语言的多功能框架,为水平和垂直 FL 提供用户友好的界面和预构建算法。它支持 HE、DP 和 MPC 等隐私保护技术,但缺乏对拆分 FL 和攻击模拟的支持。虽然 XFL 通过 Docker 简化了部署,但不完整的文档在一定程度上限制了它的可用性。
经验 教训:鉴于每个 FL 框架的先前细节,FEDML 成为最完整的解决方案,因为它包含许多安全和隐私方法、所有最常见的 FL 类型以及大量的文档和教程。此外,它还强调了这一点,因为它是唯一包含一套全面的攻击模拟的框架。它非常适合快速测试安全和隐私 FL 研究人员提出的新防御措施。尽管如此,由于实施了各种安全和隐私协议,FLOWER 和 FL AND DP 也是研究人员需要考虑的相关框架。然而,它们缺乏对对抗性测试模块的支持和对威胁建模的细粒度控制,这限制了它们在动态或自适应对手下评估防御的有效性。一个显着的差距是,尽管受访框架对中毒具有经验稳健性,但没有一个框架像 GeoMed 那样实施基于几何中位数的防御。除了缺少高级防御(例如 FLAME、基于修剪的防御)的实现之外,我们还发现对模拟现实部署条件(例如异构参与、客户端漂移或串通女巫攻击)的支持有限,这些因素在现实世界的 FL 中越来越重要。我们还观察到,大多数框架对垂直和拆分 FL 的支持并不完整,这可能会阻碍金融、医疗保健或物联网中的应用,在这些领域,数据分发通常按功能进行划分。最后,缺乏用于衡量隐私效用权衡的标准化接口(例如,DP 预算的正式核算与准确性下降)进一步限制了可重复性。未来的框架开发应优先考虑模块化威胁建模、集成攻击防御测试平台以及对自适应、个性化和混合防御策略的支持。
6主要应用
我们探讨了各个领域如何采用这种变革性的 FL 技术。本章深入探讨了 FL 发挥关键作用的实际应用,让您更深入地了解其实际意义。通过重点介绍从医疗保健和金融到入侵检测的相关用例,我们揭示了 FL 产生重大影响的各种场景。此外,在本节的末尾,我们提供了一段基于分析安全和私有 FL 的主要应用所学到的经验教训。
图7:使用隐私和安全 FL 的主要应用程序
根据我们的文献综述,我们获得了在私密和安全环境中使用 FL 的应用领域。无花果。777 描述了每个领域对所分析论文的参与情况。应用安全和私有 FL 的前三个领域是文本预测、医疗保健和金融部门。长期以来,后者一直是使用最多的领域。尽管如此,有必要强调的是,近年来入侵检测系统领域在研究人员中获得了大力参与。以下小节描述了 FL 是如何在每个领域使用的,强调了一些挑战、攻击和防御。
文本预测
在 FL 中,隐私和安全与文本预测相关,因为敏感的用户数据(例如个人消息或搜索查询)是在设备上本地处理的。如果没有强有力的隐私措施和安全通信(例如加密),个人信息泄露的风险很高,这可能导致用户机密性被破坏或被恶意行为者滥用私人数据。 用于文本预测的 FL 的进步通过 DP 和本地 DP 等技术强调隐私和安全.然而,这些方法通常难以平衡隐私和模型性能,因为严格的隐私措施会降低预测准确性。鉴于文本数据的敏感性,确保安全和隐私对于维护用户信任和遵守数据保护法规至关重要。该领域的漏洞可能源于数据的去中心化性质,常见的攻击包括中毒攻击、基于GAN的推理和梯度反转/抑制.为了应对这些风险,Qi 等人采用的 DP 等防御措施。,可以在保留模型实用性的同时保护文本数据。
医疗
FL 允许机构(即医院)在不共享敏感患者数据的情况下协作训练模型,从而帮助提高医疗保健领域的隐私和安全。DP 和 HE 等技术可在模型更新期间保护患者信息,解决数据泄露和未经授权的访问等风险.然而,它们也会引入计算开销,并可能损害模型的准确性。由于医疗数据的敏感性,该领域面临重大的安全和隐私挑战。常见的攻击包括中毒攻击,攻击者注入恶意数据以破坏模型完整性和梯度反转/抑制,它试图从共享梯度中恢复私人医疗信息.成员资格推理攻击会泄露模型训练中是否使用了特定患者,从而带来额外的风险.
为了减轻这些威胁,HE 和 MPC 等加密技术可确保数据隐私,同时允许对加密数据进行计算.DP 在限制敏感信息被记忆或从模型更新中推断的风险方面也发挥着至关重要的作用。此外,强大的聚合运营商可以防御中毒和其他对抗性纵,确保全局模型的完整性。正如 Singh 等人所强调的那样,通过将加密技术与隐私保护方法相结合,医疗保健 FL 系统可以有效防范多方面的攻击,同时保持准确性并遵守医疗保健法规。.
金融业
FL 使机构(即银行和金融科技企业)能够在不共享敏感客户数据的情况下进行欺诈检测和风险管理方面的协作,从而增强金融部门的隐私和安全。由于财务数据和监管要求的敏感性,确保安全和隐私在金融领域至关重要,可以培养客户信任并遵守 GDPR 等法规,从而实现更安全的金融服务。FL 对于欺诈检测和风险管理特别有价值,但容易受到各种攻击,特别是基于 GAN 的中毒攻击,正如 Qiao 等人所强调的那样,这可能会通过纵训练数据来降低模型性能并损害隐私。.此外,MPC 确保在联合模型训练期间没有单个客户端可以访问敏感的财务数据。
入侵检测系统
FL 通过促进分布式模型训练而不共享原始日志来增强入侵检测系统的隐私和安全性。MPC 和基于优化的输入扰动等技术防范推理和中毒攻击.然而,部署复杂性和对模型准确性的潜在影响等挑战仍然存在。安全和隐私在该领域至关重要,因为充分的入侵检测可以保护敏感环境免遭未经授权的访问,确保遵守安全标准并培养用户对系统可靠性的信任。在物联网网络中,FL 遇到了重大的安全挑战,包括标签翻转攻击,恶意客户端纵标签来误导全局模型,如 Yang 等人。著名的。
视觉问答
在使用 FL 的视觉问答 (VQA) 模型中,由于任务的复杂性和所涉及的数据类型多种多样,会出现一些安全和隐私问题。正如 Pang 等人所探索的那样,垂直 FL VQA 中的一种突出攻击是 ADI,对手纵输入数据(例如图像)来主导学习过程并减少其他客户端的贡献。.基于 GAN 的推理是另一个风险,攻击者试图从模型更新中重建私人信息,例如图像或问题。异常检测可用于通过在纵的数据或对抗性输入影响模型之前识别和排除它们来防御这些威胁。DP 可以遮盖敏感图像或问题细节,以保护客户的本地数据.此外,强大的聚合运算符可确保对抗性贡献(如中毒数据)不会降低整体模型性能。垂直 FL VQA 系统可以利用这些防御措施来维护隐私和安全,从而在不暴露敏感的视觉或文本信息的情况下实现协作模型训练。
车辆
在这个领域,将 FL 与安全和私密防御一起使用至关重要,因为联网汽车会生成有关驾驶员位置、路线、驾驶行为和车辆诊断的敏感数据,而保护这些信息可以防止未经授权的跟踪、行为分析和潜在的安全漏洞。在车辆领域,ADI攻击,如随机或有界突变,可以纵车辆数据并降低模型性能,如Pang等人。报道。此外,跨客户端的对抗性更新可能会导致模型不一致。为了防御这些,强大的聚合算子可以减少恶意更新的影响,而 DP 和附加噪声可以保护敏感的车辆数据不被通过模型更新推断出来。这些防御措施可确保车辆相关任务中的 FL 模型安全准确。
产品生产线
在这一领域,FL 中的隐私和安全是有效的,因为制造商可以协作改进其生产模式并优化流程,同时安全地将敏感的专有数据(如制造参数、质量控制指标和生产配方)保存在其设施内,防止工业间谍活动并保持竞争优势。FL在产品生产线中面临标签翻转和后门攻击,这可能会损害组装过程中模型的准确性和可靠性.为了应对这些威胁,强大的聚合运营商会过滤掉来自对手的有害贡献,而异常检测则识别并排除可疑数据。此外,DP 在模型训练期间保护敏感的生产指标.
移动人群感应
移动人群传感 FL 中的隐私和安全对于保护敏感位置和行为数据、防止未经授权的跟踪和身份泄露至关重要,同时为城市规划和服务提供有价值的见解。FL 在移动人群感知中容易受到窃听和成员推理攻击,这可能会损害客户端隐私。此外,中毒攻击可能会纵模型更新,从而降低性能.为了防御这些威胁,基于阈值的安全聚合方法 Paillier 密码系统保护模型机密性,而 DP 则掩盖个人贡献。强大的聚合运算符还有助于减轻对抗性更新的影响。
销售
佛罗里达州与该领域的隐私和安全是相关的,因为零售商处理敏感的客户购买模式、库存策略和跨多个地点的定价数据。因此,保护此类信息可以防止竞争对手访问有价值的商业智能,同时促进点对点建模,以优化跨商店网络的销售决策和客户体验。 在这个领域,FL 面临着中毒攻击等威胁,恶意客户端通过纵其本地数据来破坏全局模型,以及成员推理攻击,后者试图推断训练数据集中是否存在特定数据样本.为了防御这些攻击,强大的聚合运营商可以过滤掉对抗性更新,确保只有可靠的贡献才能影响全局模型。此外,采用 DP 技术有助于掩盖个人购物历史,保护敏感的商品数据免遭暴露.
位置
FL 的隐私和安全在定位服务中至关重要,因为它们可以保护用户的敏感运动模式和访问过的地点,同时利用多方学习来改进基于位置的服务,而不会暴露个人数据。FL 容易受到位置字段中的位置跟踪攻击,对手试图从共享模型更新中推断出用户的移动或模式。成员身份推理攻击还可以根据个人的位置签到暴露有关个人的敏感信息.实施 DP 技术可以掩盖个人签到数据以减轻这些威胁,保护用户隐私,同时允许实际模型训练。此外,强大的聚合运算符可以帮助过滤掉对抗性贡献,确保只有可信的数据才能影响全局模型.
信息检索
在信息检索方面,FL 的隐私措施保护用户的敏感搜索模式和兴趣,同时允许在不暴露个人数据的情况下协作改进搜索系统。在这个领域,FL面临着训练数据不足等挑战,个人用户可能缺乏足够的交互来实现高搜索效果。后者可以通过模型反演攻击来利用,对手从共享模型参数中推断出敏感的用户数据.DP 技术可用于保护单个搜索交互,确保用户隐私,同时仍允许模型训练。此外,强大的聚合运算符可以帮助减轻恶意更新的影响,从而增强全局模型的可靠性。
经验 教训:对主要领域的安全和私有 FL 的分析凸显了其变革潜力和持续的挑战。文本预测、医疗保健和金融等领域的广泛采用凸显了 FL 在实现协作模型训练的同时保护敏感用户数据的必要性。然而,确保隐私和模型性能仍然是一个核心挑战,因为严格的隐私机制通常会引入准确性和计算效率的权衡。FL 在入侵检测系统和移动人群传感中的兴起表明人们越来越意识到其在安全敏感环境中的作用,尽管这些应用程序面临着中毒攻击和对抗性数据纵等威胁。在所有领域,FL 的去中心化性质引入了梯度反转和成员资格推理攻击等漏洞,强调了对强大防御机制的必要性。值得注意的是,新兴的车辆、制造和信息检索应用展示了 FL 的适应性,但也揭示了独特的特定领域风险,从自动驾驶中的对抗性攻击到生产线中的工业间谍活动。另一个关键限制是缺乏跨领域的标准化、可重复的评估管道,因此很难比较防御效果或了解威胁模型之间的权衡。此外,许多应用领域缺乏反映真实攻击场景的公开基准,阻碍了领域自适应安全机制的开发和验证。一个重要的教训是,虽然 FL 增强了数据隐私,但其隐私和安全性在很大程度上取决于加密技术、对抗性防御以及根据每个领域要求量身定制的高效聚合策略的不断进步。
7未来方向
尽管在解决 FL 的安全和隐私挑战方面取得了重大进展,但有几个领域仍有待探索和改进。FL 环境的复杂性和不断变化的性质需要持续研究以完善现有技术并开发新颖的解决方案。本节概述了未来工作的重要领域,强调需要先进的方法来增强 FL 系统抵御新出现威胁的稳健性。它强调了解决当前方法的局限性并探索平衡安全、隐私和效率的创新策略的重要性。
7.1安全未来方向
FL 的安全仍然是一个重大挑战,特别是考虑到复杂的中毒和后门攻击。未来的方向应侧重于开发强大且适应性强的安全机制,以检测和减轻这些威胁,同时保持全球模型的完整性。重点将放在提高 FL 系统的弹性、增强验证流程以及开发即使在对抗性环境中也能支持高性能的可扩展解决方案。
- 1. 增强针对高级攻击的鲁棒性:如第 333 节所述,FL 环境面临着对抗性攻击的重大挑战,例如模型中毒和后门插入,特别是在异构数据设置中.
为了应对模型中毒攻击,即受损的客户端会降低全局模型性能,未来的工作应该探索自适应聚合技术,这些技术可以根据异常检测指标动态调整客户端更新的贡献。例如,自适应本地聚合等方法 或基于稀疏化的防御 可以扩展以包含对更新轨迹的实时监控 .此外,集成 FL-WBC 等客户端防御可以扰乱受攻击影响的参数空间,从而减轻长期攻击影响 .
对于后门攻击,恶意客户端将触发器插入模型以诱导有针对性的错误分类,未来的防御可以利用结合统计梯度分析和加密验证的混合异常检测方法 .像 ARIBA 这样的技术在识别模型更新中的分布异常方面显示出前景。此外,结合多方法自适应聚合算法(例如 SAPAA-MMF)可以通过平衡基于数据质量和方差的贡献来增强鲁棒性 .探索受生物免疫系统启发的跨学科方法也可以为 FL 系统中的适应性和自愈机制提供新的见解。
- 2. 动态环境中对新出现的威胁的抵御能力:在自动驾驶汽车和智慧城市等动态环境中部署 FL 会引入独特的漏洞,包括搭便车攻击、模型提取攻击和干扰威胁.应对这些挑战需要有针对性的策略:
搭便车攻击:搭便车者利用 FL 聚合协议,在从全球模型中受益的同时,不贡献有意义的更新.未来的工作应该探索先进的异常检测机制,例如高维聚类技术(例如 STD-DAGMM)来识别搭便车者.集成基于区块链的问责框架还可以通过透明地记录客户的贡献来增强信任.
模型提取攻击:恶意客户端可以对全局模型进行逆向工程,以窃取知识产权或损害隐私 .可以采用结合 HE 和 MPC 的混合加密技术来解决这个问题。此外,在不降低模型性能的情况下扭曲共享参数的梯度混淆方法值得研究 .
强调协同干扰攻击:基于 FL 的 5G 网络中的干扰攻击会破坏通信通道,降低模型性能。在 5G 网络中,干扰器利用公共 NR 标准(例如 PUCCH 时隙内跳频模式和 RACH 协议)使用反应干扰等节能方法破坏同步信号,对公共安全和军事行动构成严重风险。缓解措施包括扩频技术 (DSSS/FHSS) 和基于 ML 的检测(XGBoost 集成达到 99.72% 的准确率)。同时,模型提取攻击——通过 API 查询复制启用(例如,LLM“窃取”)——威胁金融和医疗保健领域的专有模型。像 ModelGuard 的信息论扰动这样的防御措施在阻止提取的同时保持了 ¡3% 的效用损失。一个有前途的方向是实现去中心化干扰检测框架,使用卷积自动编码器进行无监督异常检测,并使用 FedProx 算法进行监督分类.
- 3. 公平性、偏见缓解和安全集成:随着 FL 模型越来越多地部署在医疗保健和金融等敏感应用中,确保对抗条件下的公平性仍然是一个严峻的挑战。一个特别令人担忧的威胁是公平性攻击(中毒),攻击者纵数据或模型更新以引入或放大偏见 .这些攻击对特定群体的伤害尤为严重,例如少数族裔或代表性不足的社区,使公平成为对抗性纵的直接目标。 未来的研究应侧重于开发将异常检测与公平性约束相结合的公平性保持聚合方法。例如,利用 FairFed 等技术 ,它根据公平性指标自适应地重新加权客户的贡献,可以抵消有偏见的更新。此外,将加密工具与公平感知算法相结合的跨学科方法可以增强对恶意客户端的防御 .解决间接偏见(即使是非恶意客户端也会无意中提供有偏见的数据)需要先进的技术,例如公平性感知修剪或结合域适应方法来平衡异构客户端分布的性能 .
- 4. 可扩展、高效且可验证的安全聚合:随着 FL 扩展到更大、更复杂的系统,安全聚合技术面临着重大挑战,特别是在缓解模型中毒和女巫攻击等攻击方面。一个关键的技术挑战是设计平衡计算效率与强大安全保证的聚合协议。例如,同态哈希函数或单掩码对称加密等轻量级加密机制可以减少开销,同时保持隐私和可验证性 .此外,实时适应威胁级别的动态屏蔽策略可以增强对可预测攻击模式的恢复能力 .
为了有效应对女巫的攻击,将 DP 与异常检测方法相结合的跨学科方法显示出前景。例如,将 DP 与基于图形的异常检测相结合,可以根据恶意客户端的交互模式识别恶意客户端 .此外,LightVeriFL 等可验证聚合协议可以通过利用同态承诺方案进行轻量级验证来确保更新的完整性 .未来的工作应该在用户流失率高的场景中探索这些方法,以确保稳健性。
区块链技术为防篡改和可审计聚合提供了一条有前途的途径。然而,由于计算成本高昂,其可扩展性仍然是一个问题。一个潜在的解决方案是混合架构,将区块链与对抗性训练技术或可验证的延迟函数相结合,以平衡安全性和效率.另一个合理的解决方案是使用专用的链下服务器来处理验证和聚合(例如,Fantastyc 的证明生成),从而减少 70% 的链上作.此外,基于强化学习的自适应工作量证明(PoW)可以根据实时矿工能力和网络状况动态调整挖矿难度,减少高达45%的能源浪费,并为诚实的客户降低计算开销.研究应侧重于针对没有中央服务器的去中心化 FL 设置优化这些解决方案。
7.2隐私权的未来方向
隐私保护是 FL 的一个重要方面,主要是在处理分布在多个客户端上的敏感数据时。隐私增强技术的未来将侧重于提高现有方法的效率和可扩展性,使其适用于从边缘设备到大规模跨孤岛 FL 环境的广泛应用。目标是在不影响模型性能或显着增加计算和通信开销的情况下确保数据隐私。
- 1. 非 IID 数据的隐私增强技术:非 IID 数据是 FL 中最大的挑战之一,特别是在保护隐私的同时确保稳健的模型性能(参见第 2.32.32.3 节)。在非 IID 场景中,HE、MPC 和 DP 等隐私保护技术由于数据异构性而面临局限性,这增加了对有针对性推理攻击的敏感性 .攻击者可以利用客户端之间数据分布的差异来执行数据重建或成员身份推理攻击。为了解决这些漏洞,未来的研究应侧重于:动态隐私机制:开发自适应 DP 机制,根据特定于客户端的数据异构性调整隐私预算。例如,可以使用 Hellinger、Jensen-Shannon 或 Earth mover's distance 等指标动态分配隐私预算,以量化客户之间的分布差异 .可扩展的加密协议:通过混合加密方案或梯度压缩等技术减少计算开销,针对非 IID 设置优化 HE 和 MPC .稳健的聚合方法:设计聚合技术以减轻倾斜客户端更新的影响,例如相似性加权聚合或基于聚类的方法 .
- 2. 高级加密协议的集成:随着 FL 的不断扩展,特别是在物联网和医疗保健等敏感领域,隐私仍然容易受到推理和金丝雀梯度攻击等特定攻击。未来的研究必须侧重于集成先进的加密协议,以增强隐私,同时最大限度地降低性能成本。此类未来工作包括以下技术挑战:推理攻击:对手从聚合模型更新中重建敏感数据。这需要高效的 HE 方案,支持安全聚合,而不会产生大量计算开销 .金丝雀梯度攻击:攻击者将小扰动注入到梯度或权重更新中。现有的加密方法很难检测到这种微妙的作 .HE 中的密钥管理:当前的单密钥 HE 方案存在密钥泄露的风险,因此需要多密钥或密钥共享方案来增强安全性 . 因此,在未来的研究中可以探索的一些建议解决方案是:首先,开发将 HE 与 MPC 相结合的混合密码框架,以防御经典和量子对手 . 其次,在 DP 的同时实施自适应梯度裁剪技术,以减轻推理和金丝雀攻击,而不会降低模型准确性 . 第三,使用秘密共享或基于区块链的方法设计去中心化密钥管理系统,以增强 HE 实施的安全性。
- 3. 增强聚合模型的验证:确保聚合模型的完整性,同时保护隐私至关重要,特别是考虑到基于 GAN 的推理攻击的威胁日益严重。这些攻击利用 GAN 来推断有关 FL 设置中训练数据的敏感信息 .未来的研究必须解决具体的挑战,例如减少计算开销和通信成本,同时保持强大的隐私保证。有前途的方向包括: 轻量级可验证聚合协议:同态哈希和双线性聚合签名等技术已显示出验证聚合结果的潜力 .然而,由于高维模型梯度,这些方法经常面临可扩展性问题。研究应该通过利用多项式承诺或 ProxyZKP 框架等先进的加密技术来优化这些协议 .打击基于 GAN 的攻击:像 Anti-GAN 框架这样的防御机制很有前途,它可以纵视觉特征来阻止基于 GAN 的推理攻击 .未来的工作可以探索将此类框架与安全聚合技术集成,以在不影响模型准确性的情况下增强隐私性。用于隐私保护验证的 ZKP:ZKP 使实体能够在不泄露敏感数据的情况下证明计算的正确性 .虽然 ZKP 为 FL 带来了巨大的前景,但当前的实施面临着可扩展性挑战。优化 ZKP 可扩展性:zk-SNARKs 和 zk-STARK 等技术提供了高效的证明系统,但需要进一步优化大规模 FL 应用。ProxyZKP 框架使用多项式分解来减少证明生成时间,提供了一条可行的前进道路 .另一种途径是使用批量验证流程同时验证多个证明,将验证开销减少多达 70%,而递归组合将证明分层聚合为紧凑的表示形式,非常适合大规模部署.对于资源受限的环境,协作 zk-SNARK 跨方分发证明生成,线性降低每个节点的复杂性.
4. 定量隐私-性能权衡模型:虽然大量研究探讨了 FL 中隐私、安全和模型性能之间的定性权衡,但统一的定量框架仍然是一个悬而未决的挑战。现有的研究为个人权衡提供了宝贵的见解,例如 DP 中的隐私预算对模型效用的影响,但缺乏系统地捕捉这些相互依赖性的标准化数学公式。未来的研究应侧重于开发将隐私损失、计算开销和模型准确性集成到单个框架中的数学模型。这些模型可以结合平衡安全保证与性能指标的效用函数,类似于经济博弈论或基于优化的框架中的方法 .通过解决这些方向,未来的研究可以弥合定性讨论和严格定量分析之间的差距,确保更准确地理解佛罗里达州的隐私与性能权衡。
7.3佛罗里达州安全隐私联合指导
虽然这项调查分别解决了安全和隐私方面的挑战,但现实世界的 FL 部署经常受到其综合漏洞的影响。未来一个关键的方向在于了解一个轴上的攻击如何放大另一个轴的风险,以及某些防御如何无意中打开新的威胁媒介。例如,中毒攻击可以纵模型对良性客户端梯度的敏感性,从而提高梯度反演技术的有效性。同样,串通的女巫客户端可以使全局模型偏向于特定用户的数据分布,从而增加攻击者在后续成员身份推理中的机会。相反,安全聚合或重 DP 噪声等隐私防御可能会阻碍对抗行为的检测,从而削弱整体系统安全性。
未来的研究应该追求共同设计的机制来弥合这一差距:
- 1. 集成威胁建模,在统一方案中同时考虑隐私泄露和安全泄露。
- 2. 隐私感知的稳健聚合技术,即使在 DP 噪声下也能保持异常检测能力。
- 3. 层级防御策略,使用加密工具保护敏感层,同时保持其他层的透明度以进行异常审计。
- 4. 客户端协作监控,使用轻量级可信执行环境 (TEE) 在加密聚合之前在本地审核梯度。
- 5. 根据复合攻击场景而不是孤立的向量评估 FL 系统的基准测试框架。
根据之前的分析,FL 研究必须从孤立的观点演变为整体框架,确保加强一条防御战线不会无意中削弱另一条防线。解决这种相互作用仍然是构建有弹性和值得信赖的联邦系统的基本挑战和机遇。
这种安全与隐私相互作用的一个新兴维度源于 FL 与生成式人工智能 (GenAI) 系统的集成,包括大型语言模型 (LLM)。虽然这些模型提供了强大的个性化和协作功能,但它们也放大了两个漏洞轴。例如,GenAI 系统特别容易出现数据记忆,即使在安全聚合下也容易泄露隐私.这个问题在 FL 中变得更加明显,攻击者可能会利用中间梯度或个性化提示来提取或重建客户端数据。这引发了新的隐私风险,超出了安全聚合或 DP 等传统 FL 防御措施的处理范围。安全威胁也采取了新的形式。例如,生成模型中的中毒攻击可能会使完成偏向特定的意识形态或注入难以察觉的有毒内容。当攻击的目标是微妙地影响输出分布而不是翻转分类标签时,检测和缓解变得更加复杂.此外,如果没有集中审计,验证去中心化 GenAI 系统的完整性和一致性变得越来越困难。因此,未来的研究必须探索为生成任务量身定制的新 FL 框架。这些可能包括具有私有提示对齐的联合指令调整管道、用于管理计算不平衡的混合拆分联合架构,以及考虑生成记忆风险的自适应隐私控制,例如,考虑联合取消学习概念.解决这些问题对于在分布式环境中负责任地部署 GenAI,以及更广泛地提高 FL 系统的稳健性和可信度至关重要。
8结论
该调查对佛罗里达州的安全和隐私挑战进行了深入分析。它表明,尽管 FL 的设计旨在增强数据隐私,但它很容易受到各种威胁,例如数据中毒、模型反转和后门攻击,这凸显了有效防御机制的必要性。通过对这些攻击及其影响进行分类,我们可以对 FL 系统的各种威胁进行结构化的了解。我们还强调了通过加密方法和 DP 等技术平衡隐私、安全和模型性能的重要性。最近的研究趋势表明,人们越来越关注解决这些问题,需要适合动态环境的可扩展和自适应解决方案。未来的研究应该开发创新、节能的解决方案来应对已确定的挑战,为更安全、更实用的 FL 应用铺平道路。总体而言,这项调查是未来推进安全、保护隐私的协作学习系统的宝贵资源。