【文献阅读】基于联邦学习以及移动边缘计算支持的智能连接车辆的边缘缓存方法

A Federated Learning-Based Edge Caching Approach for Mobile Edge Computing-Enabled Intelligent Connected Vehicles

期刊: IEEE Transactions on Intelligent Transportation Systems
发表时间: 2023年3月

原文链接：A Federated Learning-Based Edge Caching Approach for Mobile Edge Computing-Enabled Intelligent Connected Vehicles | IEEE Journals & Magazine | IEEE Xplore

目录

• 研究背景
• 研究内容
• 仿真实验
• 总结

01 研究背景

研究背景

• 智能连接车辆对高精度地图的传输和隐私保护提出了重大挑战，需要改进缓存策略;
• 联邦学习作为一种提升车辆数据安全和训练质量的有前景的解决方案。然而，现有应用于车联网的联邦学习方法因车辆移动性问题而在服务质量上存在不足;
• 传统的缓存策略和隐私保护方法要么需要过多资源，要么无法满足高精度地图缓存的低延迟要求。

02 研究内容

2.1 联合优化方法

2.11 车辆移动模型

• 设 $x_u(t)$ 表示车辆 $u$ 在时间 $t$ 的位置。
• 设 $x_n$ 表示边缘服务器 $n$ 的位置。
• 当 $x_u(t)$ 位于边缘服务器 $n$ 的覆盖范围内时，车辆 $u$ 将选择初始移动位置和方向。
• 在时间 $t$，车辆 $u$ 的转移概率矩阵表示为 $P_u(t)$，其中车辆 $u$ 从边缘服务器 $i$ 转移到边缘服务器 $j$ 的转移概率由矩阵元素给出。

2.12 传输模型

• 上行链路的总带宽表示为 $B$，边缘服务器 $n$ 分配给车辆 $u$ 的带宽为 $b_{u,n}$。

• 在时间 $t$，车辆 $u$ 向边缘服务器 $n$ 上传参数的传输速率为：

  $$r_{u,n}^{up}(t)=b_{u,n}{\log }_2\left(1+\frac{p_u{h}_{u,n}}{{\sigma }^2}\right)$$

  其中，$p_u$ 是车辆 $u$ 的传输功率，$h_{u,n}$ 是信道增益，${\sigma }^2$ 是高斯白噪声。

• 边缘服务器 $n$ 向车辆 $u$ 广播全局参数的下行链路传输速率为：

  $$r_{n,u}^{down}(t)=b_{u,n}{\log }_2\left(1+\frac{p_n{h}_{n,u}}{{\sigma }^2}\right)$$

  其中，$p_n$ 是边缘服务器 $n$ 的传输功率，$h_{n,u}$ 是信道增益，${\sigma }^2$ 是高斯白噪声。

• 假设所有车辆上传的本地参数大小相同，则上传本地参数的传输时延为：

  $$d_{u,n}^{up}=\frac{s}{r_{u,n}^{up}(t)}$$

• 假设边缘服务器广播的全局参数大小相同，则广播全局参数的传输时延为：

  $$d_{n,u}^{down}=\frac{s}{r_{n,u}^{down}(t)}$$

• 上传本地参数的能量消耗相应计算。

2.13 计算模型

• 在第 $k$ 次全局迭代中，车辆 $u$ 经过 $L$ 次本地计算迭代的时延表示为：

  $$d_u^{comp}=L\cdot \frac{c_u}{f_u}$$

  其中，$c_u$ 是车辆 $u$ 处理一个样本所需的 CPU 周期，$f_u$ 是 CPU 频率。

• 假设每个样本大小为 $d$，则运行局部迭代的总周期为 $L\cdot c_u\cdot d$。

• 在时隙 $t$，当车辆 $u$ 的参与由边缘服务器 $n$ 发起时，车辆 $u$ 本地计算的 CPU 频率为 $f_u$。

• 在第 $k$ 次迭代中，车辆 $u$ 本地计算的能耗为：

  $$e_u^{comp}={\kappa }_u{f}_u^3$$

  其中，${\kappa }_u$ 是车辆 $u$ 计算芯片组的有效电容系数。

2.14 联合优化问题解决

• 设置用户上传截止时间为 $\tau$。最后一个成功上传本地参数的用户决定完成局部迭代的总计算延迟。因此，在时隙 $t$，以边缘服务器 $n$ 作为联邦聚合节点，第 $k$ 次训练的总时延为：

  $$D_n^k=\underset{u\in U_n}{\max }(d_{u,n}^{up}+d_u^{comp})$$

• 经过 $k$ 次迭代后，边缘服务器 $n$ 的总时延为：

  $$D_n=\sum _{k=1}^K{D}_n^k$$

• 第 $k$ 次训练的总能量损耗为：

  $$E_n^k=\sum _{u\in U_n}(e_u^{comp}+e_{u,n}^{up})$$

• 经过 $k$ 次迭代后，车辆的总能量损耗为：

  $$E=\sum _{k=1}^K{E}_n^k$$

• 联合优化目标：选择参与训练的车辆，并为这些车辆分配计算和通信资源。

  • 一次全局迭代的平均时延为 $\bar{D}$。
  • 约束条件：
    • 选择的训练车辆集合小于区域内的车辆总数且大于 0。
    • 车辆仅决定是否参与边缘服务器的训练。
    • 边缘服务器 $n$ 在时隙 $t$ 内的总能量消耗低于上限。
    • 车辆在某一时间仅参与一次训练。

• 状态空间：

  • s = { R u , D ˉ , x u ( t ) } s = \{R_u, \bar{D}, x_u(t)\} s={Ru​,Dˉ,xu​(t)}，其中 $R_u$ 是车辆 $u$ 的可用计算资源，$\bar{D}$ 是一次全局迭代的平均时延，$x_u(t)$ 是车辆位置。

• 动作空间：

  • a = { a u , b u , n , f u } a = \{a_u, b_{u,n}, f_u\} a={au​,bu,n​,fu​}，其中 $a_u$ 表示车辆 $u$ 是否参与训练，$b_{u,n}$ 是分配的带宽，$f_u$ 是分配的 CPU 频率。

• 奖励函数：

  • $r=\alpha \cdot |U_n|-\beta \cdot \bar{D}$，其中 $\alpha ,\beta$ 是权重，$|U_n|$ 是参与车辆的数量，$\bar{D}$ 是最大平均时延。
    ![[Pasted image 20250516214409.png]]

2.2 边缘协同缓存策略

2.21 内容请求和用户流行度模型

• 用 $p_{f,n}$ 表示内容 $f$ 在边缘服务器 $n$ 中的本地流行度，全局流行度为 $p_f$。

• 车辆 $u$ 请求内容 $f$ 的概率为：

  $$p_{u,f}(t)=\frac{n_{u,f}(t)}{{\sum }_f{n}_{u,f}(t)}$$

  其中，$n_{u,f}(t)$ 是车辆 $u$ 在时隙 $t$ 内请求内容 $f$ 的次数，分母为请求总数。

2.22 协作缓存模型

• 如果车辆请求的内容在本地边缘服务器 $n$ 上缓存命中失败，则将请求发送到与之协作的边缘服务器。如果协作边缘服务器缓存了内容，则视为缓存命中。车辆的平均缓存命中率为：

  $$\bar{h}=\frac{1}{U}\sum _{u=1}^U\sum _{f=1}^F{p}_{u,f}(t)\cdot h_{u,f}$$

  其中，$U$ 是车辆总数，$p_{u,f}(t)$ 是车辆 $u$ 请求内容 $f$ 的概率，$h_{u,f}$ 是一个二元指示器，表示请求的内容是否缓存命中。

  • 若内容在时隙 $t$ 内本地缓存命中，则 $h_{u,f}=1$；若协作缓存命中，则 $h_{u,f}=1$；否则，$h_{u,f}=0$。

  • ${\delta }_{u,n}$ 表示请求内容 $f$ 与边缘服务器 $n$ 之间的关系，若车辆 $u$ 在边缘服务器 $n$ 的服务范围内，则 ${\delta }_{u,n}=1$。

2.23 时延模型

• 当车辆 $u$ 请求的内容由本地边缘服务器 $n$ 传输时，平均传输速率为：

  $$r_{n,u}=b_{u,n}{\log }_2\left(1+\frac{p_n{h}_{n,u}}{{\sigma }^2}\right)$$

  其中，$b_{u,n}$ 是边缘服务器 $n$ 分配给车辆 $u$ 的传输带宽，$p_n$ 是发射功率，$h_{n,u}$ 是信道增益，${\sigma }^2$ 是高斯白噪声。

• 若车辆位于边缘服务器 $n$ 的服务范围内且内容本地缓存命中，内容请求的时延为：

  $$d_{u,f}^{local}=\frac{s_f}{r_{n,u}}$$

• 若本地缓存命中失败但协作缓存命中，则协作缓存命中的时延为：

  $$d_{u,f}^{collab}=d_{u,f}^{local}+{\tau }_{n,m}$$

  其中，${\tau }_{n,m}$ 是边缘服务器 $n$ 与协作边缘服务器之间的往返传输时延。

• 在时隙 $t$，请求内容 $f$ 的平均时延为：

  $${\bar{d}}_f(t)=\sum _{u=1}^U{p}_{u,f}(t)\cdot (h_{u,f}^{local}\cdot d_{u,f}^{local}+h_{u,f}^{collab}\cdot d_{u,f}^{collab}+(1-h_{u,f}^{local}-h_{u,f}^{collab})\cdot {\tau }_{n,cp})$$

  其中，${\tau }_{n,cp}$ 是边缘服务器与远程内容提供商之间的往返传输时延。

2.24 协同缓存策略

• 协作缓存目标：最小化边缘缓存的长期平均内容访问延迟。

  • 约束条件：
    • 每个边缘服务器的缓存大小不超过 $C$。
    • 每个时隙 $t$ 的缓存命中数最多为 $U$，因为边缘服务器 $n$ 的覆盖区域内只有 $U$ 辆车。
    • 移动车辆 $u$ 在每个时隙 $t$ 内仅访问或不访问边缘服务器 $n$。

• 状态空间：

  • s = { r u , c n } s = \{r_u, c_n\} s={ru​,cn​}，其中 $r_u=0$ 表示车辆 $u$ 未向边缘服务器 $n$ 发出请求，$r_u=f$ 表示车辆 $u$ 向边缘服务器 $n$ 请求内容 $f$；$c_n$ 是边缘服务器 $n$ 的内容缓存状态。

• 动作空间：

  • a = { a u , n 1 , a u , n 2 , a u , n 3 , b u , n } a = \{a_{u,n}^1, a_{u,n}^2, a_{u,n}^3, b_{u,n}\} a={au,n1​,au,n2​,au,n3​,bu,n​}，其中：
    • $a_{u,n}^1=1$ 表示请求由本地边缘服务器处理，且本地缓存的第 $f$ 个内容将被替换。
    • $a_{u,n}^2=1$ 表示请求由协作边缘服务器处理。
    • $a_{u,n}^3=1$ 表示请求由远程内容提供商处理。
    • $b_{u,n}$ 是带宽分配。

• 奖励函数：

  • $r=-{\bar{d}}_f(t)$，其中 ${\bar{d}}_f(t)$ 是平均时延，${\tau }_{n,cp}$ 是与远程内容提供商的往返传输时延。

03 仿真实验

3.1 仿真准备

• 数据集：

  • 使用 MNIST 数据集评估提出的联合优化算法。
  • 使用 MovieLens 数据集评估协作缓存算法。

• 基线算法比较：

  • 提出的算法与多种基线算法进行比较，包括随机算法、贪心算法、Q 学习算法，以及针对缓存策略的最近最少使用（LRU）算法和基于流行度的缓存算法（PBC）。

• 性能指标：

  • 联合优化方法：奖励、延迟和能量消耗。
  • 协作缓存策略：缓存命中率、平均延迟和回程负载。

3.2 联合优化算法验证

![[Pasted image 20250516214556.png]]

3.3 边缘协作缓存验证

04 总结

• 在引入联邦学习优化地图缓存时，面临训练效果差和训练延迟长的挑战。本文提出了一种基于联邦学习的参与者选择和资源分配联合优化方法，考虑车辆移动性和计算资源，使用深度 Q 网络（DQN）优化训练延迟。
• 提出了一种联邦学习驱动的边缘缓存方法，用于优化智能连接车辆中的高精度地图缓存。
• 提出了一种协作边缘缓存更新策略，通过实时调整缓存决策优化资源使用和减少延迟，采用 Dueling-DQN 优化边缘缓存策略。
• 通过仿真实验验证了所提方法的有效性，表明其在提升缓存效率、降低通信成本和保护隐私方面具有显著优势。