eclipse下调试MapReduce任务 WorkCount 遇到的各种坑(Hadoop版本2.7.3, Java编译环境(jdk1.8),IDE eclipse )

本文详细介绍了在Eclipse环境下调试Hadoop MapReduce作业时遇到的四种常见错误,包括NoClassDefFoundError、UnsatisfiedLinkError、输出目录已存在和Job运行模式问题,以及相应的解决方法,如检查和导入所需JAR包,更新hadoop.dll,删除HDFS中的冲突输出目录,设置HADOOP_USER_NAME属性等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

eclipser调试mapreduce 需要导入的Jar包

(最好把需要的jar包都导进去,不然会报N个错误)

  1. HADOOP_HOME/share/hadoop/hdfs/lib下全部的jar包
  2. HADOOP_HOME/share/hadoop/hdfs下hadoop-hdfs-2.7.3.jar
  3. HADOOP_HOME/share/hadoop/mapreduce 下全部的jar包
  4. HADOOP_HOME/share/hadoop/yarn下的全部的jar包
  5. HADOOP_HOME/share/hadoop/common/lib下全部的jar包
  6. HADOOP_HOME/share/hadoop/common/下hadoop-common-2.7.3.jar
遇到的第一个错误 java.lang.NoClassDefFoundError

这个的原因就是因为导入jar包的时候 ,缺少了一个关键的jar包,就报这个错误了,所以先检查一下Jar包都导入完了没。

遇到第二个错,Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)

这个问题在网上搜了半天,大部分是windows下hadoop/bin目录下的ha

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值