无线传感器网络中的分散学习与步长参数递归自适应

### 无线传感器网络中的分散学习与步长参数递归自适应 #### 1. 无线传感器网络中的分散学习 在无线传感器网络（WSN）中，为了延长网络的自主生命周期并降低其延迟，采用了强化学习算法以分散的方式来提高网络性能。学习代理虽然在寻找最优行动时可能花费一定时间，但由于减少了不成功的传输次数以及数据包在节点队列中的停留时间，整体效率更高。 通过对比大网络中学习代理和非学习代理的能量效率（ESEE），可以发现学习代理的平均 ESEE 更高。尽管表现最差的节点效率相当，但使用优化算法的学习代理在平均情况下能源效率更高。不过，由于奖励信号中包含节点的剩余电池电量，两个网络的平均 ESEE 都在不断下降。 从这些结果可以得出，在 WSN 中，节点通过学习来决定采取何种行动比遵循预定义的时间表更有益。在该算法中，每个节点不仅追求自身效率的提高，还关注其邻域的效率，这使得代理的目标与系统提高能源效率和降低延迟的目标相一致。实现分散学习中的全局效率的关键在于使代理的目标与系统目标保持一致，让每个代理考虑周围的小群体代理，能够实现全局效率。 #### 2. 非平稳环境中步长参数的递归自适应 在大多数强化学习应用中，通常假设环境是平稳的，因此步长参数 α 会在学习过程中单调递减至 0，以减少状态转换和奖励误差中的噪声因素。然而，在现实世界中，特别是在开放和多代理系统中，环境可能会逐渐或快速变化，真实的预期奖励会随时间改变，因此学习代理需要通过持续学习来适应这些变化。 为了适应这种动态和非平稳的环境，之前有方法提出控制步长参数以最小化噪声因素，但这些方法忽略了步长参数变化对学习过程的影响。针对这一问题，我们关注步长参数变化对学习过程的影响，并扩展学习过程以估计这些影响，从而构建一种调整步长参数的方法，以优化特定标准，例如最小化误差。 ##### 2.1 指数移动平均 在强化学习中，如 TD 学习，代理通过指数移动平均（EMA）方程来估计每个状态或行动的预期值： \(\tilde{x}_{t + 1} = (1 - \alpha)\tilde{x}_t + \alpha x_t\) 其中，\(x_t\) 是实际观察值（如收到的奖励 \(r_t\)），\(\tilde{x}_t\) 是相应的预期值，\(\alpha\) 是步长参数。\(\tilde{x}_t\) 可以看作是 \(x_t\) 在时间窗口 \(T = \frac{2}{\alpha} - 1\) 内的移动平均的近似值。 ##### 2.2 对随机游走的最佳跟踪 假设观察序列 \(\{x_t\}\) 由真实值序列 \(\{s_t\}\) 和噪声序列 \(\{\epsilon_t\}\) 组成： \(x_t = s_t + \epsilon_t\) 其中，\(\epsilon_t\) 是均值为 0、标准差为 \(\sigma_{\epsilon}\) 的随机噪声，且与 \(s_t\) 独立。进一步假设真实值序列 \(\{s_t\}\) 是一个随机游走序列： \(s_{t + 1} = s_t + v_t\) 其中，\(v_t\) 是均值为 0、标准差为 \(\sigma_v\) 的随机值。 在这种情况下，可以推导出以下引理和定理： - **引理 1**：通过 EMA 方程获得的预期值 \(\tilde{x}_t\) 的均方误差 \(E(\delta_t^2) = E((\tilde{x}_t - x_t)^2)\) 为： \(E(\delta_t^2) = \frac{1}{2 - \alpha}(2\sigma_{\epsilon}^2 + \frac{1}{\alpha}\sigma_v^2)\) - **定理 1**：使均方误差 \(E(\delta_t^2)\) 最小的步长参数 \(\alpha\) 为： \(\alpha = \frac{-\gamma^2 + \sqrt{\gamma^4 + 4\gamma^2}}{2}\) 其中，\(\gamma = \frac{\sigma_v}{\sigma_{\epsilon}}\)。 该定理表明，如果观察值由随机游走值和独立随机噪声组成，那么可以通过上述公式确定最佳步长参数，以平衡对随机游走的跟踪和去除噪声因素。 ##### 2.3 递归指数移动平均和高阶偏导数 为了使用上述公式确定步长参数，代理需要知道随机游走和噪声因素的标准差。但在实际学习应用中，这些值通常是未知的或随时间变化的。因此，我们尝试提取预期值 \(\tilde{x}_t\) 关于步长参数 \(\alpha\) 的导数，并构建一种根据观察序列 \(\{x_t\}\) 自适应调整 \(\alpha\) 的方法。 引入递归指数移动平均（REMA） \(\xi^{\langle k \rangle}_t\)： \(\xi^{\langle 0 \rangle}_t = x_t\) \(\xi^{\langle 1 \rangle}_{t + 1} = \tilde{x}_{t + 1} = (1 - \alpha)\tilde{x}_t + \alpha x_t\) \(\xi^{\langle k \rangle}_{t + 1} = \xi^{\langle k \rangle}_t + \alpha(\xi^{\langle k - 1 \rangle}_t - \xi^{\langle k \rangle}_t) = (1 - \alpha)\xi^{\langle k \rangle}_t + \alpha\xi^{\langle k - 1 \rangle}_t = \alpha \sum_{\tau = 0}^{\infty}(1 - \alpha)^{\tau}\xi^{\langle k - 1 \rangle}