Hadoop 我是否需要在oozie中的workflow.xml和job.properties中提供配置?

Hadoop 我是否需要在oozie中的workflow.xml和job.properties中提供配置?,hadoop,apache-pig,oozie,Hadoop,Apache Pig,Oozie,我正在尝试运行如下所示的作业(workflow.xml) job.properties: nameNode=hdfs://hadoop1:8020 jobTracker=hadoop1:50300 oozie.wf.application.path=/user/oozie/FirstScript oozie.use.system.libpath=true 我的问题是:我是否需要在job.properies和workflow.xml中提供nameNode和jobTracker配置 我很困惑,因为

我正在尝试运行如下所示的作业(workflow.xml)

job.properties:

nameNode=hdfs://hadoop1:8020
jobTracker=hadoop1:50300
oozie.wf.application.path=/user/oozie/FirstScript
oozie.use.system.libpath=true
我的问题是:我是否需要在job.properies和workflow.xml中提供nameNode和jobTracker配置

我很困惑,因为无论我是否设置了这些参数,我都会得到这个错误(来自色调界面的错误):

问候
Pawel

我看到您在namenode和jobtracker中指定的端口有所不同。只需检查您在mapred-site.xml和core-site.xml中配置的内容,并放置适当的端口

还有可能是hadoop1主机名没有得到解析。尝试添加服务器的ip地址或将hadoop1放入/etc/hosts文件中


您可以定义属性文件,以便工作流可以参数化

尝试使用默认端口9000。否则,我们需要查看Hadoop配置文件。

首先回答您关于
job.properties
-它用于参数化工作流(流中的变量替换为job.properties中指定的值)。因此,您可以在job.properties中设置作业跟踪器和名称节点,并使用workflow.xml中的变量,也可以直接在workflow.xml中设置

您确定您的工作跟踪器的端口是
50300
?它看起来可疑有两个原因:通常情况下,可以在
http://ip:50030
,但这不是您应该用于此配置的端口。对于Hadoop作业配置,作业跟踪器端口通常为
8021
9001
8012


因此,您的问题似乎在于设置正确的作业跟踪器和名称节点(而不是将其设置在正确的位置)。尝试在
mapred site.xml
core site.xml
中检查Hadoop的设置,以获得正确的端口和IP。或者,您可以简单地通过SSH连接到运行Hadoop节点的计算机,运行
netstat-plnt
并查找此处提到的端口。

尝试更改job.properties for:oozie.wf.application.path=hdfs://hadoop1:8020/user/oozie/FirstScriptBy 默认情况下,大部分Jobtracker在8021上运行。还可以尝试将您尝试为jobtracker创建的URL放在浏览器中,以查看响应是什么。e、 g:
http://hadoop1:50030
Hostname应该是
Hostname-f
output
dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader();
store dual into '/user/oozie/dummy_file.txt' using PigStorage();
nameNode=hdfs://hadoop1:8020
jobTracker=hadoop1:50300
oozie.wf.application.path=/user/oozie/FirstScript
oozie.use.system.libpath=true
E0902: Exception occured: [Call to localhost/127.0.0.1:8020 failed on connection exception: java.net.ConnectException: Connection refused]