结合计算机视觉与强化学习实现自动驾驶

### 结合计算机视觉与强化学习实现自动驾驶 在之前的实践中，我们已经成功训练出能够出色玩Pong游戏的智能体。接下来，我们将把目光投向更具挑战性的领域——训练一个智能体，使其能够在模拟环境中实现自动驾驶。 #### 自动驾驶智能体的实现 为了实现自动驾驶，我们将借助模拟环境来进行训练。这个模拟场景包含以下几个关键组件： - **环境**：模拟一个完整的交通城市，道路图像中包含汽车和其他细节。智能体（actor）是一辆汽车。 - **输入**：汽车的输入来自各种传感器，如行车记录仪、激光雷达（LIDAR）传感器和GPS坐标。 - **输出**：输出包括汽车的行驶速度和转向程度。 这个模拟环境将尽可能准确地反映现实世界的物理规律，无论是模拟汽车还是真实汽车，其基本原理都是相同的。 #### 设置CARLA环境 我们需要一个能够模拟复杂交互的环境，让我们感觉仿佛在处理真实场景。CARLA就是这样一个合适的环境，其开发者对CARLA的描述如下： “CARLA从底层开始开发，旨在支持自动驾驶系统的开发、训练和验证。除了开源代码和协议外，CARLA还提供了用于此目的的开放数字资产（城市布局、建筑物和车辆），可以免费使用。该模拟平台支持灵活指定传感器套件、环境条件、对所有静态和动态智能体的完全控制、地图生成等功能。” 设置CARLA环境需要以下两个步骤： 1. 安装CARLA模拟环境的二进制文件。 2. 安装Gym版本，为模拟环境提供Python连接。 需要注意的是，我们要安装的环境需要图形用户界面（GUI）来显示模拟过程。而且，训练至少需要一天时间。由于Google Colab缺乏可视化设置且存在时间使用限制，我们将不再使用Google Colab笔记本。此部分内容需要一个活跃的Linux操作系统，并且最好配备GPU，以便在几天的训练中获得可接受的结果。 #### 安装CARLA二进制文件 以下是安装必要的CARLA二进制文件的详细步骤： 1. 访问https://github.com/carla-simulator/carla/releases/tag/0.9.6 ，下载CARLA_0.9.6.tar.gz编译版本文件。 2. 将下载的文件移动到你希望CARLA安装的系统位置并解压。这里我们以将CARLA下载并解压到Documents文件夹为例： ```bash $ mv CARLA_0.9.6.tar.gz ~/Documents/ $ cd ~/Documents/ $ tar -xf CARLA_0.9.6.tar.gz $ cd CARLA_0.9.6/ ``` 3. 将CARLA添加到PYTHONPATH，以便机器上的任何模块都可以导入它： ```bash $ echo "export PYTHONPATH=$PYTHONPATH:/home/$(whoami)/Documents/CARLA_0.9.6/PythonAPI/carla/dist/carla-0.9.6-py3.5-linux-x86_64.egg" >> ~/.bashrc ``` 上述代码将包含CARLA的目录添加到名为PYTHONPATH的全局变量中，这是一个用于访问所有Python模块的环境变量。将其添加到~/.bashrc将确保每次打开终端时都能访问这个新文件夹。运行上述代码后，重启终端并运行`ipython -c "import carla; carla.__spec__"`，你应该会看到如下输出：  4. 最后，提供必要的权限并执行CARLA： ```bash $ chmod +x /home/$(whoami)/Documents/CARLA_0.9.6/CarlaUE4.sh $ ./home/$(whoami)/Documents/CARLA_0.9.6/CarlaUE4.sh ``` 此部分的步骤已通过视频演示，可查看：https://tinyurl.com/mcvp-self-driving-agent 。 一两分钟后，你应该会看到一个类似下图的窗口，显示CARLA正在运行并准备接收输入：  至此，我们已经验证了CARLA作为模拟环境的二进制文件可以正常工作。接下来，我们将安装其Gym环境。请保持终端运行，因为在整个练习过程中，我们需要二进制文件在后台持续运行。 #### 安装CARLA Gym环境 由于没有官方的Gym环境，我们将利用一个用户实现的GitHub仓库来安装CARLA的Gym环境。按照以下步骤进行安装： 1. 将Gym仓库克隆到你选择的位置并安装库： ```bash $ cd /location/to/clone/repo/to $ git clone https://github.com/cjy1992/gym-carla $ cd gym-carla $ pip install -r requirements.txt $ pip install -e . ``` 2. 通过运行以下命令测试你的设置： ```bash $ python test.py ``` 运行上述命令后，应该会打开一个类似下图的窗口，显示我们已经在环境中添加了一辆虚拟汽车。从这里，我们可以监控顶视图、激光雷达传感器点云和行车记录仪画面：  在这个窗口中，我们可以观察到以下内容： - **第一个视图**：类似于汽车GPS系统显示的画面，包含我们的车辆、各种路点和道路车道。但由于该视图中还显示了其他车辆，不太符合实际情况，因此我们不会使用此输入进行训练。 - **第二个视图**：更具吸引力，有些人将其视为自动驾驶汽车的“眼睛”。激光雷达每秒多次向周围环境（各个方向）发射脉冲光，通过捕捉反射光来确定该方向上最近障碍物的距离。车载计算机会收集所有最近障碍物的信息，重建一个3D点云，从而让汽车对其环境有3D的感知。 - **第一和第二个视图**：都可以看到汽车前方有一条带状物，这是路点指示，表示汽车应该行驶的方向。 - **第三个视图**：是一个简单的行车记录仪画面。 除了这三个视图外，CARLA还提供了其他传感器数据，例如： - 横向距离（与应行驶车道的偏差） - 偏航角（相对于前方道路的角度） - 速度 - 车辆前方是否存在危险障碍物 我们将使用上述前四个传感器数据，以及激光雷达和行车记录仪的数据来训练模型。 现在，我们已经准备好了解CARLA的组件，并为自动驾驶汽车创建一个深度Q网络（DQN）模型。 #### 创建模型文件model.py 我们将创建一个PyTorch模型，该模型将接受提供给它的图像以及其他传感器输入，并返回最可能的动作： ```python from torch_snippets import * class DQNetworkImageSensor(nn.Module): def __init__(self): super().__init__() self.n_outputs = 9 self.image_branch = nn.Sequential( nn.Conv2d(3, 32, (8, 8), stride=4), nn.ReLU(inplace=True), nn.Conv2d(32, 64, (4, 4), stride=2), nn.ReLU(inplace=True), nn.Conv2d(64,128,(3, 3),stride=1), nn.ReLU(inplace=True), nn.AvgPool2d(8), nn.ReLU(inplace=True), nn.Flatten(), nn.Linear(1152, 512), nn.ReLU(inplace=True), nn.Linear(512, self.n_outputs) ) self.lidar_branch = nn.Sequential( nn.Conv2d(3, 32, (8, 8), stride=4), nn.ReLU(inplace=True), nn.Conv2d(32,64,(4, 4),stride=2), nn.ReLU(inplace=True), nn.Conv2d(64,128,(3, 3),stride=1), nn.ReLU(inplace=True), nn.AvgPool2d(8), nn.ReLU(inplace=True), nn.Flatten(), nn.Linear(1152, 512), nn.ReLU(inplace=True), nn.Linear(512, self.n_outputs) ) self.sensor_branch = nn.Sequential( nn.Linear(4, 64), nn.ReLU(inplace=True), nn.Linear(64, self.n_outputs) ) def forward(self, image, lidar=None, sensor=None): x = self.image_branch(image) if lidar is None: y = 0 else: y = self.lidar_branch(lidar) z = self.sensor_branch(sensor) return x + y + z ``` 下面我们来详细分析这段代码。与之前只接受图像作为输入的部分不同，这个`for