联邦学习论文分享：Federated Learning via Synthetic Data

摘要

1. 背景与问题：联邦学习的通信瓶颈

• 标准联邦学习流程：客户端在本地用数据训练模型，然后将模型参数的更新（梯度） 发送回服务器进行聚合。

• 问题：现代神经网络（如大模型）通常拥有数百万甚至数十亿的参数。每次迭代都上传下载如此巨大的数据量，会带来巨大的通信开销，成为联邦学习的主要瓶颈之一。

2. 提出的解决方案：传输数据，而非梯度

• 核心创新：作者提出，客户端不再发送庞大的梯度更新，而是生成并发送少量合成数据。

3. 方法的优势与潜力

• 巨大优势：通信成本急剧下降。

  • 合成数据的量可以非常小（例如，每个客户端只生成几百张代表性图像），相比传输整个模型的梯度，可以实现一个数量级（10倍）甚至更多的通信量削减。

• 潜在挑战：

  • 保真度与效率的权衡：关键在于生成的合成数据必须足够好，能够有效地代表原始数据分布中的核心信息，以便服务器能用它进行有意义的模型更新。如果合成数据质量太差，全局模型的性能就会下降。

引言

1. 研究动机与问题定义

• 联邦学习的隐私优势：肯定FL通过传输模型更新而非原始数据来保护用户隐私的价值。

• 核心问题：通信成本巨大：

  • 更新比数据大：模型更新（梯度）的大小可能远大于它们所要保护的原始数据本身。

  • 多次传输：训练一个模型需要多次迭代，每个用户可能需要多次上传更新。

  • 用户负担：这给用户设备带来了沉重的通信负担，成为FL广泛应用的一个关键障碍。降低这个负担是一个重要的研究方向。

2. 提出的解决方案与灵感来源

• 目标：提出一种能大幅降低用户上行通信成本的训练方法。

• 核心灵感：源自 Wang et al. (2018) 的工作（很可能是《Dataset Distillation》这篇开创性论文）。

  • 核心发现：在大数据集上训练得到的模型性能，可以通过在精心构建的小型合成数据集上训练来很好地近似。

  • 前提：构建合成数据集时需要访问原始大数据集。

• 本文的飞跃：作者旨在将“数据集蒸馏”的思想应用于联邦学习场景。在FL中，原始数据分布在客户端且无法被集中访问，这与Wang等人的前提不同。

• 承诺的效果：该方法可以将上行通信成本降低一到两个数量级（10到100倍），同时还能产生性能良好的服务器模型。

3. 方法的技术渊源与创新

• 技术组合：

  1. 数据集蒸馏：从Wang等人那里借鉴了“用小数据集代替大数据集”的核心思想。

  2. 数据投毒攻击：从对抗性攻击领域汲取灵感。数据投毒攻击是通过精心构造恶意数据来破坏模型，而本文是想“善意地”构造有用的合成数据来高效地训练模型。两者的技术手段（如何生成数据）有相似之处。

• 本文的创新：

  • 该方法并不仅仅是上述两种技术的简单结合，作者提出了一些关键的技术变更，使其区别于前者并提升了性能。

  • 其中一个扩展是，该方法不仅能降低上行成本，还能降低下行成本（即服务器到客户端的通信）。

启发

来自数据投毒的启发

1. 核心灵感：数据投毒的双层优化框架

• 数据投毒是什么：攻击者生成合成数据（毒药数据 D_po），使得模型在训练数据（D_tr ∪ D_po）上训练后，在测试数据（D_te）上表现极差。

• 数学表述（双层优化问题）：

  • 外层优化：找到毒药数据 D_po，使得模型在测试集上的损失 L 最大化。

  • 内层优化：模型参数 w 通过在训练数据和毒药数据上最小化损失 L 来获得。

  • 关键：攻击者通过优化毒药数据来“欺骗”模型，让模型自以为找到了好的参数（内层损失小），但实际上这些参数在真实场景下是坏的（外层损失大）。

2. 从“破坏”到“帮助”：思路的转变

• 核心洞察：如果合成数据可以被优化来破坏训练过程，那么同样地，它也可以被优化来帮助训练过程。

• 数学转换：将外层优化的 argmax（最大化损失）改为 argmin（最小化损失）。

• 极端简化：更进一步，我们甚至可以不使用任何其他训练数据（即 D_tr 为空），完全用合成数据 D 来训练模型。这就得到了一个更简洁的双层优化问题：

  • 外层：找到合成数据 D，使得模型在 D 上训练后，在 D 上的损失 L 最小化。

  • 内层：模型参数 w 通过在这个合成数据集 D 上最小化损失 L 来获得。

3. 具体化到联邦学习与梯度下降

• 简化实现：作者提出，可以用损失函数 L 在当前参数 w0 处的二阶展开的二次近似来简化内层优化。这使得内层优化问题简化为一步梯度下降。

• 联邦学习中的流程：

  1. 下载：客户端从服务器下载当前全局模型参数 w0。

  2. 本地生成（核心步骤）：客户端不进行传统的本地训练，而是解决一个优化问题：找到一小批合成数据 D 和一个学习率 η，使得执行一步梯度下降 w = w0 - η∇L(f(D; w0), D) 后，新参数 w 在这批合成数据上的损失 L 很小。

  3. 上传：客户端将生成的合成数据 D（和学习率 η）上传给服务器，而不是庞大的梯度向量 g。

  4. 服务器聚合更新：服务器收集所有客户端的合成数据，并用它们执行一步梯度下降来更新全局模型。

4. 通信优势与贡献

• 巨大优势：模型参数 w 或梯度 g 通常非常庞大（数百万/数十亿参数），而一批合成数据 D 可以非常小（例如，几个数据点）。因此，上传合成数据可以带来潜在非常显著的上行通信成本降低。

• 本文的贡献：作者指出，这个基本方法源自Wang等人的数据集蒸馏工作。本文的贡献在于：

  • 将其应用于联邦学习 setting。

  • 对该方法进行补充和改进，以提高其有效性并专门为其在FL中的应用进行定制。

改进一

1. 基础方法的问题与改进动机

• 基础方法：客户端生成合成数据 D，其优化目标是让模型在这批合成数据 D 上执行一步梯度下降后，在 D 自身上的损失最小。

• 潜在问题：这个目标可能过于“内向”和“短视”。合成数据只追求模型在自己这个小型数据集上的表现，这可能无法有效代表客户端原始真实数据的整体分布，从而导致诱导出的更新方向与真正从真实数据中学习到的、有价值的更新方向发生偏离。

2. 改进方案：近似标准联邦更新

• 新思路：改变上层优化（外层优化）的目标。让合成数据的目标从直接拟合训练数据，转变为去逼近模拟标准联邦学习过程中会产生的那个真实梯度更新 θ。

• 具体步骤：

  1. 计算“真实更新”：客户端首先完全像标准联邦学习流程一样，用自己的真实数据 D 在当前模型参数 w₀ 上进行本地训练，计算出一个真实的梯度更新 θ。在标准设定下，这个 θ 会直接被上传。

  2. 生成“诱导更新”：客户端同时生成合成数据 D，并计算基于这批合成数据的梯度更新 g = η∇L(f(D; w₀), D)。

  3. 优化新目标：调整上层优化问题，新的目标是使诱导出的更新 g 尽可能与真实更新 θ 相似。

3. 两种实现“相似性”的损失函数

作者尝试了两种不同的损失函数 L 来衡量 g 和 θ 的相似性：

1. 参数空间损失（最终胜出）：

   • 做法：直接计算两个更新向量之间的平方误差（Squared Error）：L = ||θ - g||²。

   • 直观理解：在拥有数百万维度的模型参数空间里，强制要求诱导更新 g 的每一个数值分量都尽量接近真实更新 θ。

2. 函数空间损失：

   • 做法：

     • 用“真实更新” θ 更新模型，得到新参数 w_真实 = w₀ - θ，并用这个更新后的模型对真实数据 D 进行预测，得到输出概率分布 y_真实。

     • 用“诱导更新” g 更新模型，得到新参数 w_诱导 = w₀ - g，并用这个更新后的模型对同样的真实数据 D 进行预测，得到输出概率分布 y_诱导。

     • 计算两个输出概率分布之间的KL散度（KL-divergence）作为损失。

   • 直观理解：不关心模型参数具体如何变化，只关注更新后的模型在功能和行为上是否相似（即对相同的原始数据输入，是否能产生相似的预测输出）。

4. 实验结果与原因分析

• 结果：尽管“函数空间损失”在概念上更具吸引力，但实验表明，简单的参数空间平方误差损失效果更好。

• 原因分析：作者将其归因于神经网络的过参数化特性。

  • 过参数化意味着存在无数种不同的参数更新向量 g，都可以使得模型在有限的数据点集上表现出完全相同的功能（即产生完全相同的预测输出）。

  • “函数空间损失”只要求模型在这些数据点上的行为一致，这导致优化问题存在大量可能解，反而难以收敛到一个高质量且稳定的解。

  • 实验发现，即使通过添加随机生成的数据来尝试在函数空间中进行更充分的“采样”，其效果也不如直接约束参数空间的“平方误差损失”来得直接和有效。

改进二：模拟多步梯度下降

• 基础方法的局限：之前的方法只模拟一步梯度下降。但标准联邦学习中，客户端通常会进行多步（多个Epoch）本地训练，产生一个累积更新。

• 新方法：生成 M 批合成数据 {D₁, D₂, ..., D_M}，每批数据用于模拟一步梯度下降。

  • 第1批数据 D₁ 基于初始参数 w₀ 生成一个更新 g₁，得到中间参数 w₁ = w₀ - g₁。

  • 第2批数据 D₂ 基于 w₁ 生成更新 g₂，得到 w₂ = w₁ - g₂。

  • ...

  • 最终，总的诱导更新为所有中间更新之和：g = g₁ + g₂ + ... + g_M。

• 重要性：作者发现，这对于近似真实的多步SGD更新不仅是有效的，而且是绝对至关重要的。

• 计算效率：虽然计算多步更新的梯度需要涉及二阶导数（海森矩阵），但作者指出可以利用 Pearlmutter (1994) 提出的著名技巧来高效完成，避免了巨大的计算开销。

改进三：标准化更新

为了提高优化过程的稳定性，作者引入了两种标准化：

1. 标准化中间更新（方向与幅度分离）：

   • 做法：对每一步计算出的梯度进行归一化，然后乘以学习率 η_m。

   • 概念理解：这样，合成数据 D_m 只决定更新的方向，而学习率 η_m 完全决定更新的步长（幅度）。

   • 好处：极大地增强了生成过程的稳定性。

2. 标准化最终更新（匹配真实更新幅度）：

   • 做法：在得到最终诱导更新 g 后，再次对其进行归一化，然后乘以一个标量 H，这个 H 被设置为真实更新 θ 的范数（magnitude）。

   • 目的与好处：这确保了诱导出的更新 g 与真实更新 θ 具有相同的范数。从优化角度看，这相当于增加了一个侧约束，为优化过程提供了额外的指导信息，使其能产生更接近真实更新的结果。

改进四：可训练的合成标签

这是一个非常巧妙且重要的改进，主要针对分类任务：

• 原有做法（Wang et al.)：合成数据的标签是固定的（例如，one-hot向量），只优化合成数据的特征（X）。

• 问题：固定标签限制了合成数据的表达能力和优化灵活性。

• 新方法：允许合成数据的标签也是“合成”的，是可优化的参数。

  • 每个合成数据点由一个特征向量 X 和一个标签向量 Y 组成。

  • Y 不再是一个单一的类别标签，而是一个概率分布向量（例如，[0.2, 0.7, 0.1]），代表属于各个类别的概率。

  • 在训练过程中，通过投影和归一化确保这个向量是一个有效的概率分布（元素在0-1之间，和为1）。

• 训练损失：仍然使用交叉熵损失（或等价的KL散度）来训练，但现在的标签是“软标签”。

• 为何可行：这与数据投毒攻击不同。在联邦学习中，客户端和服务器是协作关系，因此服务器可以调整其训练过程来适应这种带有“软标签”的合成数据。而攻击者则无法改变模型的输入空间。

• 好处：极大地增加了合成数据的表现力和优化自由度，从而能更好地模拟真实更新。

合成数据生成过程

1. 合成数据生成与更新过程

这部分描述了客户端和服务器协作的核心流程：

• 核心函数：updateFromSynthetic

  

  • 这是最关键的子程序，它定义了服务器（和客户端）如何将接收到的合成数据解码成一个模型更新 g。

  • 一致性至关重要：客户端在生成合成数据时和服务器在使用合成数据时，必须运行完全相同的 updateFromSynthetic 函数，否则会导致严重错误。

• 标准FL函数的角色：

  

  • localUpdate：这是标准联邦学习中的本地训练函数，客户端用它和自己的真实数据来计算“真实更新” θ（例如，进行多轮SGD）。

  • aggregate：这是标准联邦学习中的聚合函数，服务器用它来聚合所有客户端的更新（例如，联邦平均FedAvg）。

• 通信内容：

  • 客户端上传给服务器的不是梯度，而是多批合成数据及其对应的学习率 (D₁, η₁, ..., D_M, η_M)，以及一个全局缩放因子 H。

  • 服务器收到后，调用 updateFromSynthetic 函数，将这些数据转换为一个等效的梯度更新 g，然后像处理普通梯度一样用它来更新全局模型。

• 计算效率与重用技巧：

  • 高效计算：虽然计算过程涉及二阶导数（海森矩阵），但通过使用 Pearlmutter (1994) 的技巧，可以以 O(n) 的复杂度高效完成，避免了计算整个海森矩阵的巨大开销。

  • 数据重用：允许 D_i = D_j，即同一批合成数据可以被多次使用来生成多个中间更新 g_i。这类似于“在合成数据上训练多个epoch”，作者发现这种技巧非常有效。这减少了需要传输的数据量。

2. 追踪最佳近似

这部分描述了一个重要的实践技巧，用于稳定和改善优化过程：

• 理想与现实：理想情况下，希望诱导更新 g 完全等于真实更新 θ，但这在实践中几乎不可能实现。而且，直接在参数空间计算损失（如平方误差）并不能完全捕捉参数微小变化对模型输出的影响。

• 解决方案：借鉴非凸优化的启发式方法

  • 常用启发法：在非凸优化（如训练神经网络）中，一个常见技巧是：在优化过程产生的一系列解之外，单独追踪一个“最佳”解。即使优化过程暂时探索了性能更差的区域，也始终保留历史上性能最好的那个解。

  • 本文的适配：

    1. 评估指标：在每一轮优化后，不仅计算参数空间的损失，还会计算诱导更新 g 在客户端真实训练数据上的交叉熵损失。

    2. 追踪最佳：始终保留那些能使得上述交叉熵损失最小的合成数据，将其定义为“最佳”合成数据。

  • 双重目标：这个技巧巧妙地让优化过程同时隐式地拟合两个互补但不完全相同的目标：

    • 目标1（直接）：诱导更新 g 应接近真实更新 θ（由参数空间损失驱动）。

    • 目标2（间接）：诱导更新 g 应能在真实数据上产生好的性能（由交叉熵损失驱动）。

  • 效果：尽管这个方法是经验性的，但实验表明它有效地稳定了整个优化过程。

实验

设置

1. 实验设置

实验设计遵循了联邦学习的经典基准：

• 数据集与模型：基于 MNIST 手写数字数据集，使用与McMahan等人2016年开创性FL论文中相同的CNN网络结构。

• 数据划分：

  • IID（独立同分布）：100个客户端，数据随机分配。

  • Non-IID（非独立同分布）：100个客户端，每个客户端只分配2个类别的数据，每个类别300个样本（共600个/客户端）。

• 标准FL参数（基线）：

  • 本地训练 (localUpdate)：使用SGD，5个本地周期（Epoch），批次大小为10，学习率为0.02。

  • 服务器聚合 (aggregate)：使用联邦平均，每轮随机选择10个客户端参与。

2. 合成数据方法参数

这是新方法特有的参数，决定了合成数据的生成：

• 合成数据规模：使用 5批 合成数据，每批包含 10个 合成数据点。

• 更新生成 (updateFromSynthetic)：在这5批数据上训练 5个周期，等效于总共 25步 更新。

• 蒸馏学习率：α = 0.2。

• 优化器：使用Adam（而非梯度下降）来优化合成数据。

3. 核心分析：成本效益

这是本段最重要的部分，量化了新方法的巨大优势与代价：

A. 通信成本（巨大优势）

• 标准FL：需要传输整个模型的梯度更新。对于该MNIST CNN模型，这需要传输 1,663,370个 浮点数。

• 本文方法：只需要传输：

  1. 50个合成数据点（5批 * 10个/批）。每个MNIST数据点是一个28x28图像+标签，我们估算为785个浮点数（784像素+1标签）。

  2. 真实更新θ的范数（1个浮点数）。

  • 总传输量：50 * 785 + 1 = 39,251个 浮点数。

• 通信降低比例：传输量仅为标准FL的 2.4%，实现了 超过40倍的通信成本降低。这完全验证了方法的核心目标。

B. 计算成本（需要付出的代价）

• 计算开销：生成合成数据的过程需要额外的计算。训练这些合成数据需要进行300次更新，这大约相当于单独运行标准本地训练 (localUpdate) 所需计算量的5.5倍。

• 必然性：因为方法的第一步总是先运行标准的localUpdate来计算真实更新θ，所以本文方法的总计算成本永远高于标准FL。这是为换取通信效率而必须付出的代价。

4. 参数选择

• 调参：这些合成数据参数经过了一定程度的调试，但作者承认仍有进一步优化的空间以提升结果。

• 通用性：值得注意的是，在初步调试后，IID和Non-IID两种数据划分方案使用了同一套参数。作者预计，如果进行更精细的调试，它们的最优参数可能会不同。

独立同分布和非独立同分布

1. 实验的公平性设置

为了确保比较的公平和可靠，作者严格控制了实验中的随机性：

• 固定随机种子（用于FL过程）：所有实验运行中，决定以下因素的随机种子都是相同的：

  • 数据如何在用户间划分（IID或Non-IID）。

  • 联邦学习过程的随机性（例如，每轮中哪些客户端被选入队列）。

• 结果：这意味着标准的FL流程（即基线）在每一次运行中都是完全相同的，这为对比提供了一个稳定、一致的基准。

• 变化随机种子（用于新方法）：唯一变化的是生成合成数据时涉及的随机种子（例如，合成数据的初始化）。

• 结果：这允许作者观察所提出的方法在不同随机起始条件下的表现，从而测试其稳定性和鲁棒性，而不是只报告一个偶然的好结果。

2. 图表展示方式

作者说明了如何呈现结果：

• 左图：显示原始值（例如，模型准确率随训练轮次的变化曲线）。

• 右图：显示差异值（即“使用合成数据的FL”的性能减去“标准全梯度传输FL”的性能）。这种图能更清晰地看出两种方法的性能差距。

3. 核心结论预览

在详细展示图表之前，作者直接给出了一个总结性的核心发现：

“合成数据FL的表现与全梯度传输FL相当，同时只需要后者的很小一部分上传传输成本。”

这句话是整篇实验部分最重要的结论：

• 有效性：新方法（合成数据FL）的模型性能与传统方法（全梯度传输FL）不相上下。

• 高效性：在保持相当性能的同时，新方法实现了其最核心的目标——极大幅地降低了通信成本。

蒸馏学习率

1. 关键超参数：蒸馏学习率 (α)

• 什么是α：在生成合成数据的优化过程中使用的学习率。

• 为什么重要：它是独立于成本的调优参数。这意味着改变α的值不会影响方法的计算成本和通信成本。无论α设为多少，需要传输的合成数据量（通信成本）和主要的计算过程（计算成本）都保持不变。

2. 实验结果：鲁棒性

• 敏感性测试：作者测试了α在不同取值下的效果（实验结果如图3所示）。

• 核心发现：方法对α的值并不超级敏感。在0.03到0.3这个相对宽泛的范围内，最终产生的模型性能非常相似。

• 另一个参数：文中还提到了学习率衰减（0.995），但指出它的影响甚至比α还要小。

3. 鲁棒性的重要价值

• 联邦学习的挑战：在联邦学习环境中，超参数调优非常困难且成本高昂。因为数据分布在各个客户端上，无法集中访问，传统的调优方法（如在大规模验证集上搜索）难以实施。

• 本文方法的优势：因此，方法对关键超参数（α）的鲁棒性是一个非常有价值的优点。它意味着：

  • 更容易部署： practitioners（实践者）不需要进行精细且耗时的参数搜索，只需选择一个在合理范围内的值（如0.1）即可。

  • 更稳定：方法在不同任务和数据集上表现更一致，减少了因参数设置不当而失败的风险。

通信性能之间的权衡

1. 核心权衡三角

作者明确指出，这三个因素构成了一个不可兼得的“权衡三角”：

• 通信成本：上传数据的大小。

• 计算成本：客户端生成合成数据所需的计算量。

• 近似质量：合成数据所能模拟的标准FL性能的程度。

2. 如何调整成本与质量

作者详细说明了如何通过调整不同的参数来改变这个权衡点：

A. 如何增加通信成本（以提升质量）

如果愿意接受更高的通信成本，有两种主要方式（或二者的混合）：

1. 增加每批合成数据的大小：例如，将每批合成数据点从10个增加到20个。

2. 增加合成数据的批次数：例如，将批次数从5批增加到10批。

• 注意：这两种方式同时也会增加计算成本，因为需要生成更多或更大的数据。

B. 如何增加计算成本（以提升质量）

如果愿意接受更高的计算成本（但不改变通信量），也有两种方式：

1. 增加训练合成数据的迭代次数：在优化合成数据时，进行更多次的更新。

2. 增加 updateFromSynthetic 的周期数：在服务器端，用同样的合成数据训练更多个周期（epoch）。

• 注意：这种方式不增加通信量，因为传输的合成数据量没有变。

3. 收益递减与最佳策略

• 普遍规律：所有上述方法都遭受收益递减。这意味着，初始的投入（增加计算或通信）带来的性能提升非常明显，但越往后，同样的投入带来的提升效果越微弱。

• 最佳实践：因此，最好的策略是采用所有方法的某种组合（例如，稍微增加一点数据量，同时稍微增加一点训练迭代次数），而不是极端地只优化某一个参数。

4. 一个未解的关联

作者提出了一个有趣的观察和未来方向：

• 观察：合成数据的批次数 (M) 可能与客户端本地训练中的SGD步数存在关联。

• 直觉：人们可能会预期，如果本地更新 θ 是经过更多步SGD计算出来的（即本地训练更充分），那么就需要更多批合成数据来更好地模拟这个复杂的多步更新过程。

• 现状：作者指出，他们尚未完全理解这种关联，这是一个值得未来研究的问题。

算法拓展

1. 方法扩展：服务器到客户端的传输

• 基本原理相同：思路是相通的。服务器不直接传输庞大的模型参数，而是生成一小批合成数据发送给客户端。客户端收到后，在本地从一个已知的初始模型开始，应用这些合成数据诱导出的更新，来重构出服务器当前的模型。

• 实现前提：需要所有客户端和服务器使用固定的模型初始化协议（即相同的随机种子），这样客户端才知道重构的起点。

2. 为何反向传输更具挑战性

作者明确指出，这个方向（Server->Client）的难度远高于Client->Server方向：

• Client->Server (原方向)：只需用几步更新（合成数据）来模拟几十步更新（客户端的本地训练）。需要近似的更新步数大致是恒定的（例如，每次本地训练都是5个epoch）。

• Server->Client (新方向)：需要用几步更新来模拟成千上万步更新（服务器从初始化至今经历的所有聚合更新）。需要近似的更新步数随着训练进行而不断增长，难度呈数量级上升。

3. 遇到的挑战与解决方案

• 巨大挑战：完全失败

  • 服务器可能完全无法近似出当前的模型，导致生成的合成数据诱导出的模型性能与随机初始化的模型一样差，训练无法进行。

• 暴力解决方案：多种子初始化

  • 做法：服务器使用多个不同的随机种子来初始化多组合成数据，分别对每组进行训练，然后选择能诱导出与当前服务器模型最相似的那组合成数据进行传输。

  • 代价与可行性：这成倍地增加了服务器的计算成本。但作者认为，在研究中服务器的计算资源远比客户端的计算和通信资源便宜，且这些计算可以并行进行，因此不会显著增加总训练时间（wall time）。这个方案是可行的。

4. 初步实验结果与结论

• 实验设置：在之前的实验基础上，使用合成数据进行双向传输。对于Server->Client方向，使用：

  • 100个合成数据点（10批，每批10个）。

  • 训练600次更新。

  • 为每次传输尝试10个不同的随机种子。

• 通信收益：下载成本仅为传输完整模型参数的 1/20，实现了超过90%的下载通信成本降低。

• 性能代价：

  • 可行性：方法是可行的，能够训练出一个不错的模型。

  • 性能损失：用1.5%的准确率损失换取了超过90%的下载通信削减。

  • 当前局限：模型似乎无法进一步改进，性能可能达到了一个瓶颈。克服这个短板是未来持续工作的关键。

未来发展

1. 异步更新

• 问题：当前方法极度依赖于客户端和服务器拥有完全相同的初始参数 w0。这在严格的同步更新中成立，但在更实用的异步FL中可能不成立。

• 灵感来源：Wang et al. (2018) 表明，如果在生成合成数据时从一个初始参数的分布 p(w0) 中采样，而不是固定一个 w0，那么方法会对参数的变化更具鲁棒性。

• 未来设想：训练合成数据时，从以传输的 w0 为中心的某个 ε 球内均匀采样初始点。目标是生成对参数微小变化不敏感的、“健壮的”合成数据。

• 挑战：这是一个高度推测性的方向，计算成本、有效范围（ε 球大小）都存在巨大不确定性，但潜力也最大。

2. 隐私问题

• 新风险：传输合成数据可能比传输梯度带来更大的隐私风险。梯度难以直接解释，而合成数据可能非常逼真（如MNIST中生成可辨认的数字），直接泄露原始数据特征。

• 缓解因素：本文方法使用“软标签”可能缓解此问题，因为合成数据点不再明确属于某一类。

• 解决方案设想：

  1. 投影：将标签概率从0和1附近拉开，防止任何合成数据点完全代表一个真实类别。

  2. 差分隐私：以差分隐私的方式生成合成数据，在优化过程中添加噪声。

3. 异构客户端资源的实验

• 现实背景：FL中客户端设备（手机、IoT设备）的硬件（算力、网络）差异巨大。

• 自适应想法：为不同能力的客户端动态调整蒸馏参数。例如，为带宽小的客户端生成更少的合成数据点；为手机性能强的客户端分配更多的计算来生成更高质量的数据。

• 核心担忧：这样做是否会引入偏差？如果资源丰富的客户端其数据类型也有特殊性，模型是否会偏向这些“富人”客户端的数据，导致对资源匮乏客户端的服务体验下降？这是一个关于公平性的重要问题。

4. 移除对本地训练的需求

• 当前依赖：目前方法的第一步是运行标准本地训练 (localUpdate) 来获得“真实更新” θ 作为目标。这是计算成本的主要来源。

• 未来目标：探索是否能绕过这一步，直接从原始数据生成合成数据。

• 价值：这对于计算能力极其有限的环境非常有价值。

• 自我批评：作者承认，当前方法效果更好可能只是因为他们“直接优化”的方法做得不够好，仍有改进空间。

5. 从压缩视角进行分析

• 理论视角：将整个框架视为一个压缩/解压缩方案：

  • 压缩器：生成合成数据的过程，将巨大的更新 θ 压缩成小小的数据点 D。

  • 解压缩器：updateFromSynthetic 函数，将数据点 D 解压还原为更新 g。

• 理论问题：

  • 为什么这个方案有效？是否任意向量都能被同样好地压缩？

  • 直觉猜想：模型所有可能的更新向量并非充满整个高维空间，而是位于一个低维流形上。并且这些更新可能具有某种“嵌套”特性，使得用少量数据就能很好地近似大量数据才能诱导出的更新。

• 意义：从压缩理论的角度进行理解，可以为方法提供更坚实的数学基础，并指导如何进一步改进。