Hadoop Hortonworks Hue Oozie流媒体作业在使用“时失败”;添加文件";第节(shell脚本)

Hadoop Hortonworks Hue Oozie流媒体作业在使用“时失败”;添加文件";第节(shell脚本),hadoop,streaming,oozie,hue,Hadoop,Streaming,Oozie,Hue,我已经安装了HDP2.x和hue。(2名主持人) 我需要解决这个问题,因为我是oozie工作流的新手。 我在这里举了一个例子: 如果我在所有主机中仅在各自的路径上有映射器和还原器,它就可以完美地工作。我知道oozie的ambari qa烟雾测试很好,但当我从Hue UI提交oozie的流式作业时,mapper和Reducer在shell脚本中执行单词计数(术语频率),我想在oozie工作流编辑器中使用“添加文件”(hadoop命令行中的文件)部分,并将mapper和Reducer上传到HDFS。

我已经安装了HDP2.x和hue。(2名主持人)

我需要解决这个问题,因为我是oozie工作流的新手。 我在这里举了一个例子: 如果我在所有主机中仅在各自的路径上有映射器和还原器,它就可以完美地工作。我知道oozie的ambari qa烟雾测试很好,但当我从Hue UI提交oozie的流式作业时,mapper和Reducer在shell脚本中执行单词计数(术语频率),我想在oozie工作流编辑器中使用“添加文件”(hadoop命令行中的文件)部分,并将mapper和Reducer上传到HDFS。在进行此更改并提交此作业后,出现了一个错误。对于所有映射任务的尝试,我都会遇到以下错误:

2013-12-16 19:21:24278错误[main] org.apache.hadoop.streaming.PipeMapRed:配置异常 java.io.IOException:无法运行程序 “/hadoop/Thread/local/usercache/root/appcache/application\u 1387201627160\u 0006/container\u 1387201627160\u 0006\u 01\u000002//maptf.sh”: java.io.IOException:error=2,没有这样的文件或目录

这意味着它无法在oozie/mapred/Thread将动态创建文件的路径中找到mapper和reducer。我是否有任何oozie配置和工作流问题?(通过电子邮件记录:sandeepboda91083@gmail.com)

在HDFS中,我在根用户下正确设置了所有路径和文件

注意:我可以在没有oozie的情况下运行流媒体作业,如下所示:

cd /root/mrtest/
ls
-rwxrwxrwx 1 root root 235 Dec 11 11:37 maptf.sh
-rwxrwxrwx 1 root root 273 Dec 11 11:37 redtf.sh

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-76.jar -D stream.num.map.output.key.fields=1 -input crane_in1 -output crane_out2 -file ./maptf.sh -mapper maptf.sh -file ./redtf.sh -reducer redtf.sh

看来我不能在这里贴日志了。请给我发邮件索取文件和日志。

这可能与网络上的这些用户的问题相同


如果使用“文件浏览器”编辑文件,它们可能会由于某些非Unix新行而损坏。您应该直接上传它们,不要修改它们或使用更新版本的(撰写本文时为3.5)。

是的,我在windows记事本/写字板中编辑了shell脚本,并通过“添加文件”上传方法上传。这意味着我看到的每一行的结尾都会被追加,\r\n这会导致错误。我需要进行dos2unix转换并使其正常工作。但为什么错误信息会误导人呢?“没有这样的文件或目录”