FedFomo论文阅读笔记

《PERSONALIZED FEDERATED LEARNING WITH FIRST ORDER MODEL OPTIMIZATION》是ICRL-2021的一篇个性化联邦学习文章。该文章通过赋予客户一个新的角色，并提出一种新的权重策略，构造了一种在隐私和性能之间进行权衡的新的联邦学习框架。

创新点：

• 传统的联邦学习目标是训练一个全局模型，个性化联邦学习则认为单一的全局模型难以收敛，且并非在每个客户上都有很好的表现。
  这篇文章也是基于个性化的想法，同时赋予客户一个新的角色。提出服务端保存每个客户的模型，让客户从服务端下载在本地目标任务具有良好性能的模型。这样，即便本地目标任务的数据分布不同于训练数据分布，该客户也可以训练出能实现本地目标任务的模型。
• 文章还提出一种新的权重策略来对从服务端下载的模型进行加权聚合并对本地模型进行更新。
• 到这里大家应该会想到一个问题，没错就是隐私问题。之所以要有个服务端，其中一方面的原因就是为了防止客户之间的直接接触，而文章提出的这种方法客户会直接获得其他客户的模型。对于这个问题，文章也提出了利用差分隐私来进行加密处理，在隐私和性能之间进行权衡。

文章提出的框架——FedFomo

传统的联邦学习框架如FedAvg是让被选中的客户上传其模型参数，并在服务端对这些模型参数以所在客户端地相对数据量为权重进行平均聚合，得到一个单一的全局模型，各客户下载该全局模型进行本地训练，以此循环进行上传——聚合——下载。FedFomo也类似这种模式，只不过对上传、聚合、下载的方式大有不同。

• 上传：每个客户基于本地数据进行训练，并将训练后的模型参数上传至服务端，服务端保存每个客户在本地任务 l 和此轮通信 t 的模型${\theta }_n^{l(t)}$。
• 下载：不同于传统的联邦学习中每个客户端下载一个全局模型，这里需要分两步：

1. 服务端计算要将哪些模型发送给哪些客户。
2. 客户端收到这些模型后，通过这些模型${\theta }_n^{l(t)}$以及自己在上一轮的模型${\theta }_i^{l(t-1)}$在本地验证集（验证集与测试集具有相似的数据分布）上的Loss来计算这些来自其他客户的模型的聚合权重$w_n$，即
   ${\theta }_i^{l(t)}$ ⬅ ${\theta }_i^{l(}$