Hadoop 我是否需要在oozie中的workflow.xml和job.properties中提供配置?
我正在尝试运行如下所示的作业(workflow.xml) job.properties:Hadoop 我是否需要在oozie中的workflow.xml和job.properties中提供配置?,hadoop,apache-pig,oozie,Hadoop,Apache Pig,Oozie,我正在尝试运行如下所示的作业(workflow.xml) job.properties: nameNode=hdfs://hadoop1:8020 jobTracker=hadoop1:50300 oozie.wf.application.path=/user/oozie/FirstScript oozie.use.system.libpath=true 我的问题是:我是否需要在job.properies和workflow.xml中提供nameNode和jobTracker配置 我很困惑,因为
nameNode=hdfs://hadoop1:8020
jobTracker=hadoop1:50300
oozie.wf.application.path=/user/oozie/FirstScript
oozie.use.system.libpath=true
我的问题是:我是否需要在job.properies和workflow.xml中提供nameNode和jobTracker配置
我很困惑,因为无论我是否设置了这些参数,我都会得到这个错误(来自色调界面的错误):
问候
Pawel我看到您在namenode和jobtracker中指定的端口有所不同。只需检查您在mapred-site.xml和core-site.xml中配置的内容,并放置适当的端口 还有可能是hadoop1主机名没有得到解析。尝试添加服务器的ip地址或将hadoop1放入/etc/hosts文件中
您可以定义属性文件,以便工作流可以参数化 尝试使用默认端口9000。否则,我们需要查看Hadoop配置文件。首先回答您关于
job.properties
-它用于参数化工作流(流中的变量替换为job.properties中指定的值)。因此,您可以在job.properties中设置作业跟踪器和名称节点,并使用workflow.xml中的变量,也可以直接在workflow.xml中设置
您确定您的工作跟踪器的端口是50300
?它看起来可疑有两个原因:通常情况下,可以在http://ip:50030
,但这不是您应该用于此配置的端口。对于Hadoop作业配置,作业跟踪器端口通常为8021
、9001
或8012
因此,您的问题似乎在于设置正确的作业跟踪器和名称节点(而不是将其设置在正确的位置)。尝试在
mapred site.xml
和core site.xml
中检查Hadoop的设置,以获得正确的端口和IP。或者,您可以简单地通过SSH连接到运行Hadoop节点的计算机,运行netstat-plnt
并查找此处提到的端口。尝试更改job.properties for:oozie.wf.application.path=hdfs://hadoop1:8020/user/oozie/FirstScriptBy 默认情况下,大部分Jobtracker在8021上运行。还可以尝试将您尝试为jobtracker创建的URL放在浏览器中,以查看响应是什么。e、 g:http://hadoop1:50030
Hostname应该是Hostname-f
output
dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader();
store dual into '/user/oozie/dummy_file.txt' using PigStorage();
nameNode=hdfs://hadoop1:8020
jobTracker=hadoop1:50300
oozie.wf.application.path=/user/oozie/FirstScript
oozie.use.system.libpath=true
E0902: Exception occured: [Call to localhost/127.0.0.1:8020 failed on connection exception: java.net.ConnectException: Connection refused]