【文献阅读】在车辆边缘计算中的基于异步联邦学习和深度强化学习移动感知的协同缓存

Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and Deep Reinforcenment Learning

• 在车辆边缘计算中的基于异步联邦学习和深度强化学习移动感知的协同缓存

  • 原文链接：https://ieeexplore.ieee.org/abstract/document/9944845
  • 发表期刊：IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING, IF=8.7

目录

1. 研究背景
2. 系统建模
   • 1.1 VEC场景概述
   • 1.2 数据检索路径
3. 协同缓存方案
   • 3.1 异步联邦学习
   • 3.2 缓存内容预测
4. 实验结果
5. 总结

1. 研究背景

• 高速缓存技术为车辆用户(VU)提供了各种实时的车辆应用。在标准的缓存技术中，车辆将需要的内容发送到连接云服务器的MBS (macro base station)上，并从MBS中获取内容，但由于车辆频繁请求内容使得通信拥塞，进而导致从MBS请求车辆的内容的传输延迟较大。
• **车辆边缘计算(VEC)**的出现可以有效地降低内容传输延迟，它将内容缓存到部署在车辆网络边缘的道路侧单元(RSU)中，车辆可以直接从本地RSU获取内容，减少内容传输延迟。
• 为了更好的保护用户的隐私，选择使用联邦学习。然而，车辆的移动性使得车辆在更新本地模型前可能会频繁驶出VEC的覆盖区域，因此本地模型无法在同一区域上传，这将降低全局模型的准确性,于是本文提出异步联邦学习。

2. 系统建模

2.1 VEC场景概述

VEC场景结合车辆、RSU和基站（MBS），通过分布式计算和缓存实现低延迟内容分发。图1展示了VEC的典型架构，涉及车辆与本地RSU、邻近RSU以及MBS之间的交互。

2.2 数据检索路径

• 本地RSU检索：
  • 路径：车辆 → 本地RSU → 车辆
  • 特点：内容直接从本地RSU获取，延迟最低，适用于高命中率场景。
• 邻近RSU检索：
  • 路径：车辆 → 本地RSU → 邻近RSU → 本地RSU → 车辆
  • 特点：当本地RSU无内容时，查询邻近RSU，增加少量延迟但扩展了内容可用性。
• 基站检索：
  • 路径：车辆 → 本地RSU → 邻近RSU → MBS → 车辆
  • 特点：内容从宏基站获取，路径最长，延迟最高，适用于内容稀缺场景。

这些路径反映了VEC系统中延迟与内容可用性之间的权衡。

2.3 车辆移动模型

• 假设所有车辆沿同一方向运动，且在一回合中，没有车辆进出本地RSU的覆盖区域。
• 车辆的速度用一个密度函数表示
  

2.4 车辆通信模型

• 车辆采用正交频分复用（OFDM）技术与RSU通信；本地RSU与相邻RSU之间的通信采用有线链路。
• 传输速率的计算基于香农采样公式，比较常规，就不在此展示了，想了解的可以查看原文。

3. 协同缓存方案

3.1 异步联邦学习

• 步骤：

  • Step 1：选择车辆

    选择的车辆需要有足够的时间有可能完成异步FL的训练。

• Step 2：下载模型

  在每轮训练中，RSU选择拥有最小数据量的车辆进行训练，且在所有被选车辆未全部训练过一次之前不会重复参与训练。

• Step3：本地训练

  对于没有成功上传本地模型的车辆被认为是“Stragglers”，当轮 “Stragglers”的本地梯度被称为“延迟梯度”，延迟梯度会聚合到新的梯度中参与训练。
  

• Step 4：上传模型

• Step 5：异步聚合

  在每一轮中，本地RSU认为收到的第一个模型为上传成功，这第一个模型即为聚合模型，考虑到车辆的移动性（位置及时延），全局模型的更新公式为
  

• 异步同步的区别

  • 同步FL：需要等待所有参与方上传模型才可进行聚合更新;
  • 异步FL：只需要一个参与方上传模型即可聚合更新。

3.2 缓存内容预测

• Step1：数据预处理

  基于异步FL得到的全局模型对内容进行评级重构，得到**评级矩阵 ；根据全局模型也可得到车辆用户的个人信息矩阵。

  Step2：余弦相似性

  根据评级矩阵中非0评级选择所有用户中1/m个“活跃用户a”，并根据评级矩阵和个人信息矩阵计算活跃用户与其他用户的相似性，选出k个与活跃用户最相似的用户作为相邻用户。

  Step3：感兴趣的内容

  在评级矩阵中，提取每个活跃用户a的相邻用户b的向量以构造矩阵 H_K。在H_K 中，具有非0的元素被认为是用户感兴趣的内容，一个内容的非0数量代表了该内容的流行度，用户选择F_c最大流行度的内容作为事先预测的感兴趣内容。

  Step4：流行的内容

  本地RSU收集并比较从所有区域内车辆上传的预测感兴趣内容，以选择具有F_c最大内容流行度的内容作为流行内容。

  3.3 基于DRL的协同缓存

  

4. 实验结果

• 使用缓存命中率和内容传输延迟作为性能指标来评估CAFR方案。该缓存命中率被定义为从本地RSU获取所请求内容的概率。如果所请求的内容被缓存在本地RSU中，则可以直接从本地RSU获取该内容，这被称为缓存命中，否则，被称为缓存未命中。
  
  

5. 总结

• 本文考虑了车辆的移动性，提出了一种协同缓存方案CAFR，以降低内容传输延迟，提高缓存命中率。

• CAFR方案可以从车辆的本地数据中学习，以捕获有用的隐藏特征并预测准确的流行内容。CAFR通过在每轮中聚合单个车辆的局部模型，大大减少了每轮的训练时间。

• CAFR考虑车辆的移动特性，包括位置和速度来选择车辆和聚合的局部模型，这可以提高训练模型的准确性。

• CAFR方案中的DRL根据预测的流行内容确定最优的协作缓存策略，从而将合适的流行内容缓存在本地和相邻的RSU中，以减少内容传输延迟。