Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/ios/106.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop Nutch1.7在从oozie运行时将文件系统更改保持为本地_Hadoop_Nutch_Oozie - Fatal编程技术网

Hadoop Nutch1.7在从oozie运行时将文件系统更改保持为本地

Hadoop Nutch1.7在从oozie运行时将文件系统更改保持为本地,hadoop,nutch,oozie,Hadoop,Nutch,Oozie,我从命令行构建并运行了Nutch1.7 hadoop jar apache-ntuch-1.7.job org.apache.nutch.crawl.crawlhdfs://myserver/nutch/urls -迪尔hdfs://myserver/nutch/crawl -深度5-顶部100 但当我从oozie那里得到同样的东西时,它一直在 错误的FS:hdfs://myserver/nutch/crawl/crawldb/current,应为:文件:/// 每次代码执行时,我都会检查源代码

我从命令行构建并运行了Nutch1.7

hadoop jar apache-ntuch-1.7.job org.apache.nutch.crawl.crawlhdfs://myserver/nutch/urls -迪尔hdfs://myserver/nutch/crawl -深度5-顶部100

但当我从oozie那里得到同样的东西时,它一直在 错误的FS:hdfs://myserver/nutch/crawl/crawldb/current,应为:文件:///

每次代码执行时,我都会检查源代码

文件系统fs=newjobclientjob.getFs

fs将更改回本地fs

我重写了这些语句的所有实例,然后作业在fetch阶段终止,只需说 java.io.IOException:作业失败! 位于org.apache.hadoop.mapred.JobClient.runjobclient.java:838

从oozie运行确实会导致从hadoop-core.jar加载错误版本的JobClient类


以前有人看到过吗?

oozie conf目录似乎缺少正确的*-site.xml文件。我将mapred-site.xml添加到/etc/oozie/conf/hadoop-conf目录中,这个问题就解决了。

hello@user1058511,您介意我请求共享您的oozie工作流作业文件吗?我是oozie的新手,我想使用oozie自动化流程?请点击这个很久以前的链接以供参考。我不再为同一家公司工作,也没有代码。