RuntimeError: NCCL Error 2: unhandled system error

综上所述，要彻底消除 `RuntimeError: NCCL error in... unhandled system error` 这类告警可以从优化软件栈组合、精简参与计算单元数目以及改善外部条件等多个角度入手逐一试验直至恢复正常为止。

### 解决 NCCL 错误 `RUNTIMEERROR` 的方法 #### 一、理解 NCCL 和常见错误原因 NCCL (NVIDIA Collective Communications Library) 是用于 GPU 集群间高效通信的库。当遇到 `RuntimeError: [1] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key '0', but store->get('0') got error: Connection reset by peer` 这类错误时，通常意味着节点之间的连接存在问题[^1]。 #### 二、具体解决措施 ##### 1. 检查网络配置 确保所有参与训练的机器之间能够正常通信，并且防火墙设置允许必要的端口开放。对于分布式训练环境来说，稳定的内部网络至关重要。 ##### 2. 修改 DeepSpeed 或 PyTorch 设置 如果是在集群环境中使用 DeepSpeed 训练大型模型，则可以尝试调整启动参数来规避此问题： ```bash export MASTER_ADDR=localhost export MASTER_PORT=12355 ``` 另外，在命令行中指定更详细的日志级别可以帮助定位问题所在： ```bash torchrun --nnodes=2 --nproc_per_node=8 \ --node_rank=$SLURM_PROCID --master_addr $MASTER_ADDR \ --master_port $MASTER_PORT train.py ``` ##### 3. 尝试单 GPU 训练模式 有时多卡并行计算会触发特定硬件或驱动版本下的兼容性问题。将程序切换到仅利用单一 GPU 执行可作为临时解决方案验证是否为资源分配不当引起的问题[^2]: ```python import torch device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device) ``` ##### 4. 启用 CUDA 调试选项 为了更好地捕捉潜在的异步错误信息，可以在运行前设置如下环境变量以便于后续排查： ```bash export CUDA_LAUNCH_BLOCKING=1 export TORCH_USE_CUDA_DSA=1 ``` 这些设置有助于同步化操作流程，使得任何发生的内核执行失败都能立即被检测出来而不是延迟报告[^3]。