Highway-env项目中的多智能体环境配置指南

原创于 2025-06-19 09:17:11 发布 · 671 阅读

CC 4.0 BY-SA版权

Highway-env项目中的多智能体环境配置指南

多智能体环境概述

在强化学习领域，多智能体系统(Multi-Agent System)是指由多个智能体共同存在于同一个环境中，彼此可能产生交互的场景。highway-env项目提供了将单智能体环境扩展为多智能体环境的能力，这对于研究车辆协同驾驶、交通流优化等场景具有重要意义。

基础配置步骤

1. 增加受控车辆数量

要将环境配置为多智能体版本，首先需要增加环境中受控车辆的数量。这可以通过修改环境配置中的controlled_vehicles参数实现：

import gymnasium as gym

env = gym.make('highway-v0', render_mode='rgb_array')
env.configure({
    "controlled_vehicles": 2,  # 设置2辆受控车辆
    "vehicles_count": 1       # 为了可视化清晰，只设置1辆其他车辆
})

在这个配置中，绿色车辆代表受控智能体，其他颜色车辆代表环境中的非受控交通参与者。

2. 修改动作空间

默认情况下，环境只接受单个动作输入。要让环境支持多智能体控制，需要将动作类型设置为MultiAgentAction：

env.configure({
    "action": {
        "type": "MultiAgentAction",
        "action_config": {
            "type": "DiscreteMetaAction",  # 每个智能体的动作类型
        }
    }
})

配置完成后，env.step()方法将接受一个动作元组，每个元素对应一个智能体的动作。例如：

# 让第一辆车向左变道，第二辆车向右变道
action_1, action_2 = 0, 2  # 0:向左，2:向右
env.step((action_1, action_2))

3. 修改观测空间

为了支持多智能体决策，每个智能体都需要有自己的观测。这需要将观测类型设置为MultiAgentObservation：

env.configure({
    "observation": {
        "type": "MultiAgentObservation",
        "observation_config": {
            "type": "Kinematics",  # 每个智能体的观测类型
        }
    }
})

配置后，env.reset()和env.step()将返回一个观测元组，每个元素对应一个智能体的观测数据。

完整配置示例

下面是一个完整的多智能体环境配置示例：

env.configure({
    "controlled_vehicles": 2,
    "observation": {
        "type": "MultiAgentObservation",
        "observation_config": {
            "type": "Kinematics",
        }
    },
    "action": {
        "type": "MultiAgentAction",
        "action_config": {
            "type": "DiscreteMetaAction",
        }
    }
})

多智能体训练流程

在多智能体强化学习中，常见的训练范式包括：

集中式训练：所有智能体共享同一个策略模型
分散式训练：每个智能体有自己的策略模型
混合式训练：结合前两种方法的特点

以下是一个集中式训练的伪代码示例：

# 初始化模型和环境
model = Model()  # 假设的强化学习模型
obs, info = env.reset()
done = truncated = False

while not (done or truncated):
    # 为每个智能体生成动作
    action = tuple(model.predict(obs_i) for obs_i in obs)
    
    # 执行动作
    next_obs, reward, done, truncated, info = env.step(action)
    
    # 更新模型
    for obs_i, action_i, next_obs_i in zip(obs, action, next_obs):
        model.update(obs_i, action_i, next_obs_i, reward, info, done, truncated)
    
    obs = next_obs