抵御搭便车者攻击：DFG防御机制的实验评估与分析

# 抵御搭便车者攻击：DFG 防御机制的实验评估与分析 ## 1. 实验设置 ### 1.1 测试平台 实验主要在两台运行 Ubuntu 20.04 的机器上进行。一台机器托管生成器，另一台托管所有判别器。对于有 10 个搭便车者的实验，使用具有相同硬件的第三台机器托管 5 个判别器。这些机器通过 1G 以太网链路互连，MD - GAN 系统使用 Pytorch RPC 框架实现，代码可在 [github](https://github.com/zhao-zilong/DFG) 上获取。 ### 1.2 数据集 使用两个常用的图像数据集：CIFAR10 和 CIFAR100。CIFAR10 和 CIFAR100 分别有 50000 张彩色训练图像，分为 10 类和 100 类。每个良性客户端和服务器各自拥有 5000 张图像，这些图像在所有类别中均匀分布。 ### 1.3 基线 为了展示 DFG 的有效性，模拟了 MD - GAN 和 MD - GANw 在不同类型搭便车者（FR - L、FR - D 和 FR - M）攻击下的情况，并与无防御场景进行对比。FR - M 的预训练判别器在传统的集中式设置下，使用一个生成器和一个判别器在 CIFAR100 上进行 200 个周期的训练。在 CIFAR10 和 CIFAR100 的实验中，使用相同的预训练判别器，以观察使用相似数据集而非相同数据集的影响，从而研究迁移学习效果。 ### 1.4 符号说明 使用 No Def Simple 和 No Def Swap 分别表示无防御场景下的 MD - GAN 和 MD - GANw。对于有 DFG 防御的场景，使用 Def Simple 和 Def Swap。在 DFG 的步骤 3 和 5 中，有两种识别搭便车者的方法：（1）二元聚类；（2）异常检测。分别用 Def XC 和 Def XAD（X 为 Simple 或 Swap）表示这两种方法。 ### 1.5 网络结构 所有实验使用广泛采用且有效的 Wasserstein GAN with Gradient Penalty（WGAN - GP）结构来训练生成器和判别器模型。每个判别器的网络由三个重复的块组成，每个块包含 2D 卷积、实例归一化和 Leaky Relu 层。生成器 G 也由三个连接的块组成，每个块包含 2D 转置卷积、批量归一化和 Relu 层。批量大小 B 设置为 500，每个客户端有 5000 张图像，因此每个训练轮次有 10 个小批量。由于 WGAN - GP 的特性，判别器每训练 5 次，生成器训练 1 次。每个轮次，判别器使用所有 10 个小批量进行训练，而生成器仅训练 2 次。DFG 每 10 轮评估一次判别器的质量，且仅在该轮的前两个训练批次中的第一个批次进行评估。每个实验重复 3 次并报告平均值。 ### 1.6 实验参数 所有实验中良性客户端数量固定为 5，搭便车者数量从 0 到 5 变化。为了展示系统对极端数量搭便车者的处理能力，在 CIFAR10 实验中，将搭便车者数量扩展到 10，但由于计算开销高，CIFAR100 实验不进行此操作。服务器为所有判别器广播初始化方法（Kaiming 初始化，Pytorch 的默认设置），所有良性客户端采用此初始化方法，而搭便车者从 4 种初始化方法中随机选择一种。服务器上由 DN + 1 和 DN + 2 组成的“检测器”使用与良性客户端相同的初始化方法。总训练轮次为 100，生成器每 5 轮生成 10000 张图像，用于根据 Fréchet 初始距离（FID）评估其性能。每 10 轮执行 DFG，生成器向所有客户端和检测器发送相同的 500 张图像的探测集 ˆS，且 ˆS 每轮不同。 ## 2. 评估指标 ### 2.1 Fréchet 初始距离（FID） 使用 FID 计算生成器生成数据的最终性能。 ### 2.2 无交换的 MD - GAN 报告识别出的“搭便车者”的精度和召回率。精度衡量被算法检测为搭便车者的客户端中实际搭便车者的比例，召回率衡量防御机制识别出的搭便车者的比例。在计算中，搭便车者标记为正，良性客户端标记为负。需要注意的是，在没有搭便车者的情况下，召回率未定义。 ### 2.3 有交换的 MD - GANw 关注防止良性客户端和恶意客户端之间的判别器交换。如果 DFG 阻止了两个良性客户端之间的交换请求，定义为错误阻止；如果 DFG 未阻止良性客户端和恶意客户端之间的交换，定义为错误允许。统计阻止和允许的数量，并报告错误阻止和错误允许的百分比。 ## 3. 评估结果 ### 3.1 对 FR - L 攻击的防御 #### 3.1.1 FID 结果 | Setup | CIFAR100 | | | | | | CIFAR10 | | | | | | | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | | 0 A. | 1 A. | 2 A. | 3 A. | 4 A. | 5 A. | 0 A. | 1 A. | 2 A. | 3 A. | 4 A. | 5 A. | 10 A. | | No Def Simple | 104.6 | 165.6 | 369.3 | 381.4 | 381.7 | 396.5 | 79.5 | 146.5 | 390.9 | 439.0 | 443.8 | 454.1 | 470.8 | | Def SimpleC | 102.8 | 117.6 | 120.6 | 124.7 | 150.4 | 163.4 | 78.6 | 85.4 | 97.6 | 121.3 | 124.3 | 137.9 | 152.9 | | Def SimpleAD | 102.5 | 109.9 | 115.4 | 119.9 | 120.3 | 128.8 | 80.1 | 80.5 | 92.6 | 116.0 | 118.5 | 128.7 | 140.2 | | No Def Swap | 110.7 | 193.4 | 397.9 | 418.8 | 418.9 | 420.8 | 80.1 | 193.7 | 420.8 | 465.9 | 470.3 | 472.1 | 477.5 | | Def SwapC | 108.3 | 120.9 | 132.5 | 156.9 | 177.2 | 198.1 | 80.0 | 110.8 | 132.8 | 136.6 | 155.2 | 172.3 | 436.5 | | Def SwapAD | 109.2 | 119.8 | 120.1 | 123.0 | 124.2 | 124.6 | 80.0 | 89.8 | 100.0 | 118.6 | 120.5 | 128.9 | 427.7 | 随着搭便车者数量的增加，攻击的严重程度和最终 FID 也随之增加。搭便车者使用的随机初始化导致错误预测，对生成数据的反馈无用。MD - GANw 在所有数据集和场景下的 FID 都较高，说明交换不一定有助于收敛，例如当判别器之间的数据异质性较低时。DFG 显著提高了 MD - GAN 和 MD - GANw 的性能。即使 50%的客户端是搭便车者，有防御时的 FID