Hadoop Nutch1.7在从oozie运行时将文件系统更改保持为本地
我从命令行构建并运行了Nutch1.7 hadoop jar apache-ntuch-1.7.job org.apache.nutch.crawl.crawlhdfs://myserver/nutch/urls -迪尔hdfs://myserver/nutch/crawl -深度5-顶部100 但当我从oozie那里得到同样的东西时,它一直在 错误的FS:hdfs://myserver/nutch/crawl/crawldb/current,应为:文件:/// 每次代码执行时,我都会检查源代码 文件系统fs=newjobclientjob.getFs fs将更改回本地fs 我重写了这些语句的所有实例,然后作业在fetch阶段终止,只需说 java.io.IOException:作业失败! 位于org.apache.hadoop.mapred.JobClient.runjobclient.java:838 从oozie运行确实会导致从hadoop-core.jar加载错误版本的JobClient类Hadoop Nutch1.7在从oozie运行时将文件系统更改保持为本地,hadoop,nutch,oozie,Hadoop,Nutch,Oozie,我从命令行构建并运行了Nutch1.7 hadoop jar apache-ntuch-1.7.job org.apache.nutch.crawl.crawlhdfs://myserver/nutch/urls -迪尔hdfs://myserver/nutch/crawl -深度5-顶部100 但当我从oozie那里得到同样的东西时,它一直在 错误的FS:hdfs://myserver/nutch/crawl/crawldb/current,应为:文件:/// 每次代码执行时,我都会检查源代码
以前有人看到过吗?oozie conf目录似乎缺少正确的*-site.xml文件。我将mapred-site.xml添加到/etc/oozie/conf/hadoop-conf目录中,这个问题就解决了。hello@user1058511,您介意我请求共享您的oozie工作流作业文件吗?我是oozie的新手,我想使用oozie自动化流程?请点击这个很久以前的链接以供参考。我不再为同一家公司工作,也没有代码。