错误：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost/

最新推荐文章于 2022-06-01 14:41:11 发布
最新推荐文章于 2022-06-01 14:41:11 发布
阅读量1.1w 收藏 4
点赞数
CC 4.0 BY-SA版权
文章标签： input path hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/noOnlyAndroid/article/details/5946553
本文记录了在使用Hadoop进行快速入门练习时遇到的Inputpathdoesnotexist异常，并详细展示了异常堆栈跟踪信息。通过分析得知，原因是未将input目录加入到HDFS中。文中提供了相应的解决命令。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常

Input path does not exist异常分析

描述：

今天按照hadoop的快速入门练习hadoop出现下面的错误

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost/user/zhutao/input

at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:245)

at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:271)

at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:401)

at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:418)

at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:338)

at org.apache.hadoop.mapreduce.Job.submit(Job.java:960)

at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:976)

at org.apache.hadoop.examples.Grep.run(Grep.java:77)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:69)

at org.apache.hadoop.examples.Grep.main(Grep.java:101)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:72)

at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:144)

at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:68)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.util.RunJar.main(RunJar.java:192)

经过上网查阅知道input目录没加入到hdfs中去

命令为：hadoop fs -put conf input

noOnlyAndroid
关注
Spark Streaming实时监听HDFS目录，但出现：Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COP
a921026768的博客
06-12 1315
Spark Streaming实时监听HDFS目录，出现找不文件异常。 异常主要提示信息：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COPYING_ 详情如下图 出现问题原因 直接上传文件会在 HDFS 上生成一个临时文件，后缀是.COPYING，Spark Streaming .
Hadoop Mapreduce Error Input path does not exist: hdfs://localhost:54310/user/hduser/input"
wscrf的博客
04-12 3418
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/inputhduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/s...
错误：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://lo
qq_53269459的博客
02-01 1万+
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input path does not exist异常分析 描述： 在自定义实现编译运行 WordCount 的时候，本地hadoop中已经存在已包含内容的input文件，执行 jar 操作 bin/hadoop jar workspace/WordCount.jar WordCount input1 output的时候，出现以
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:
分享专栏一一一每天进步一点点
06-18 1085
原因是因为没有把指定文件添加到hdfs文件系统中 执行命令：hdfs dfs -put 本地路径文件 hdfs文件系统路径
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist
foradawn的博客
04-29 4067
idea下远程调试hadoop程序一直报路径不存在。。。找了好久，然后一直认为路径是正确的，然而。。。 我们在hdfs系统中直接建立文件后，可能误以为这个路径就是相对路径，事实上并不是 使用hdfs dfs -ls / 查看当前目录可以知道当前的相对路径是什么 这个路径困扰了一下午。。。好想哭。。。无语。。。...
eclipse运行出现org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist错误
qq_44796583的博客
10-22 1787
问题出现场景 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/ooxx/input org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThread...
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/D:/input/hello.txt
05-30
这个错误是因为 Hadoop 找不到输入路径 `/D:/input/hello.txt`。你需要确认输入路径是否正确，以及文件是否存在。如果输入路径正确，但文件不存在，那么你需要创建这个文件，或者修改输入路径，使其指向已经存在的...
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://mycluster/user/hive/warehouse/kaggle_olist.db/ads_geolocation_city_order at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:329) 解释
最新发布
06-17
| `Input path does not exist` | 执行步骤1和步骤5 | | `Permission denied` | 执行步骤2 | | `Invalid hostname` | 检查集群名称是否匹配步骤4 | | `File does not exist` | 验证Hive表LOCATION属性 | 通过以上...
[root@hadoop04 ~]# hadoop jar film1.jar CleanDriver -D mapreduce.job.summary.log.level=DEBUG /film/input /film/outputs/cleandata 25/03/15 14:57:08 INFO client.RMProxy: Connecting to ResourceManager at hadoop04/192.168.100.104:8032 25/03/15 14:57:08 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 25/03/15 14:57:10 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/root/.staging/job_1742021469568_0001 Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://hadoop04:9000/user/root/CleanDriver at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:265) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387) at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301) at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1762) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308) at CleanDriver.main(CleanDriver.java:35) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:226) at org.apache.hadoop.util.RunJar.main(RunJar.java:141) [root@hadoop04 ~]#
03-16
错误信息`Input path does not exist: hdfs://hadoop04:9000/user/root/CleanDriver`表明Hadoop尝试读取的输入路径是`/user/root/CleanDriver`，而非你命令行中指定的`/film/input`。这是因为： 1. **代码未正确...
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因
热门推荐
wang_zhenwei的博客
08-12 3万+
在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误， （Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775） （命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist问题
duguduchong的专栏
03-24 1万+
在eclipse中跑Ｈadoop测试用例时，出现这样的错误 Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/niy/workspace/mywordcount/input 系统无法识别HDFS文件系统，错把
【Hadoop】出错：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist
菜鸟sdut的博客
09-05 9144
简介 在一次运行MR任务的时候，使用hadoop jar 或者 yarn jar都可以正常运行，但是使用java -cp的时候就总是出现Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/wordcount/w...
Hadoop 运行Java时发生异常：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not
分享我的点点滴滴，在成长路上与你同行！
06-01 1540
Java远程到集群上，统计单词！
hadoop异常： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exi
wen3011的博客
02-07 2万+
在安装idea的hadoop开发环境的时候，环境安装完后，运行出现以下错误： Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 这个提示了找不到文件，所以解决步骤如下： 1）确认下集群上的HDFS系
hadoop异常： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exit
蒯厅博客
03-24 4809
出现原因：集群有要操作的目录或者文件但是本地没有吧路径写全造成的。 其次是集群获取分布式文件系统没有做配置，默认是本地（你电脑下的路径） 所以分布式系统找不到路径。 设置如下图： 以WordCount 为例 最终结果如下 ...
Exception in thread “main“ org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path d
nofuck的博客
12-01 2589
hadoop jar hadoop2.jar WordCountMapReduce hdfs://master:9000/input/test3.txt hdfs://master:9000/output1 20/12/01 21:38:00 INFO client.RMProxy: Connecting to ResourceManager at /192.168.136.128:8032 20/12/01 21:38:00 WARN mapreduce.JobResourceUploader: Had.
User class threw exception: org.apache.hadoop.mapred.InvalidInputException: Input path does not exis
我的博客
07-19 731
临时处理个小任务，结果要放到hdfs中。 刚开始是设置传参 ： 任务提交的时候在脚本中传参，但是这种一运行就报错：说路径已经存在了！！！试了几次，已进行传参就报已存在的错误。 解决办法：自己直接在config.properties中给它设置死了，不进行传参，要修改在properties中修改！！！ ...
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/usr...
05-20
这个错误通常是由于输入路径不存在导致的。请确保您输入的路径正确，并且您有足够的权限访问该路径。您可以使用以下命令检查路径是否存在： ``` hadoop fs -ls hdfs://localhost:9000/usr... ``` 如果路径不存在，请创建它。如果您没有足够的权限访问该路径，请与Hadoop管理员联系以获取更多帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值