hadoop运行计算pi或running job卡住或 map 0% reduce 0%

### Hadoop Map 和 Reduce 进度停滞在 0% 的原因分析 Hadoop作业中`map 0% reduce 0%`的现象通常表明任务未能正常启动或执行遇到了障碍。具体来说，这种现象可能是由资源不足引起的，尤其是在内存和交换空间方面存在问题[^3]。 #### 资源耗尽问题 当系统内存被大量占用时，尤其是Swap分区几乎用光的情况下，继续运行MapReduce任务可能导致计算机死机。这是因为操作系统为了腾出物理内存而频繁地将不活跃的数据页移至磁盘上的Swap区，从而显著降低性能并最终导致无法响应新请求。对于这种情况，增加系统的RAM容量以及扩大Swap分区可以有效缓解压力，防止由于内存瓶颈造成的计算节点崩溃或任务挂起。 ```bash sudo dd if=/dev/zero of=/swapfile bs=1G count=8 sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile ``` 上述命令用于创建额外的8GB Swap文件来扩充现有虚拟内存大小。 --- ### 解决方案概述 针对`map 0% reduce 0%`的问题，除了调整硬件配置外，还可以考虑优化软件层面的因素： - **检查集群状态**：确认所有DataNode和TaskTracker服务是否处于活动状态，并查看是否有任何异常错误消息记录于日志文件内。 - **数据分布均衡性评估**：如果某些节点上存储了过多的小文件，则可能会造成NameNode负担过重或是InputSplit分配不合理等问题。通过合理规划文件上传策略或者启用CombineFileInputFormat等方式改善这一情况。 - **参数调优建议** - 设置合理的IO.sort.mb、io.file.buffer.size等参数值以适应当前工作负载特性； - 减少并发度（如设置适当数量的任务实例），避免过度消耗CPU/Memory资源引发GC风暴或其他形式的竞争条件。 ---