在运行mr时遇到的一个大坑

最新推荐文章于 2024-07-19 21:55:56 发布

学习中....

最新推荐文章于 2024-07-19 21:55:56 发布

阅读量969

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_36055407/article/details/100172696

Hadoop 专栏收录该内容

31 篇文章

订阅专栏

本文介绍在Hadoop环境中，当MapReduce任务因前一任务未结束而卡住时的解决方案。通过使用yarn命令杀死残留的MapReduce进程，可以有效解决任务堵塞问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

卡在如下状态不动：

19/08/31 14:22:59 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
19/08/31 14:23:00 INFO input.FileInputFormat: Total input paths to process : 1
19/08/31 14:23:00 INFO mapreduce.JobSubmitter: number of splits:1
19/08/31 14:23:00 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1567232245983_0001
19/08/31 14:23:01 INFO impl.YarnClientImpl: Submitted application application_1567232245983_0001
19/08/31 14:23:01 INFO mapreduce.Job: The url to track the job: http://hadoop102:8088/proxy/application_1567232245983_0001/
19/08/31 14:23:01 INFO mapreduce.Job: Running job: job_1567232245983_0001

在使用sqoop向mysql导出数据时，由于运行过慢，在运行到reduce时，ctr+z强制退出了，此时不知怎么的在运行其他mr时，状态一致处于accepted undefine状态，经过一番百度之后，发现，在默认状态下，只能运行一个mr,由于上一个mr还处于一种运行的状态导致后面的任务无法运行，此时只要使用 yarn application --kill 杀死失败的任务即可。

命令为：yarn application --kill 任务ID

任务ID从8088端口查看：