本文记录了一次在编写sh脚本过程中遇到的StreamingCommandFailed错误及其解决过程。问题出现在使用Hadoop Streaming API时，由于-input参数后紧跟多个输入路径而没有正确分隔导致。通过对错误配置的修正，即在-input参数后正确地列出各个输入路径，最终解决了该问题。
今天写sh脚本的时候居然Streaming Command Failed!
原因找了半天，还好有之前正确的对比，原因如下：
我定义了两个不同的输入input1,input2,
然后在下面这部分
hadoop jar $streaming_jar \
-D mapreduce.job.queuename=root.default \
-input $input,$input2 \
-output $output \
-mapper $mapper \
-reducer $reducer \
-file $mapper \
-file $reducer
的-input部分我写成了这样-input $input, $input2 \
习惯性打了个空格，吐血
扫一扫
2818
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
