Apache pig 在Cloudera中为Oozie(调用PIG脚本)配置正确的端口

Apache pig 在Cloudera中为Oozie(调用PIG脚本)配置正确的端口,apache-pig,oozie,hue,Apache Pig,Oozie,Hue,我是CDH4 Oozie工作流编辑器的新手。 在尝试从Oozie工作流编辑器调用pig脚本时,我遇到以下错误 HadoopAccessorException: E0900: Jobtracker [mymachine:8032] not allowed, not in Oozies whitelist 看起来Oozie正在向Thread port(8032)提交作业。我希望它提交到8021(MR jobtracker)端口。 有人能帮我确定在哪里设置job tracker URL或端口,以便o

我是CDH4 Oozie工作流编辑器的新手。 在尝试从Oozie工作流编辑器调用pig脚本时,我遇到以下错误

HadoopAccessorException: E0900: Jobtracker [mymachine:8032] not allowed, not in Oozies whitelist
看起来Oozie正在向Thread port(8032)提交作业。我希望它提交到8021(MR jobtracker)端口。 有人能帮我确定在哪里设置job tracker URL或端口,以便oozie选择正确的URL或端口(使用Hue或Cloudera manager)

以前我试过以下方法,但没有一个有效

  • modified workflow.xml文件/user/hue/oozie/workspace/。/workflow.xml文件。但是,当我从工作流编辑器提交作业时,它会被覆盖

  • 在cloudera Manager-->oozie-->配置-->oozie服务器(高级)-->oozie服务器配置安全阀中,我为oozie-site.xml属性设置了以下内容-

    <property>
        <name>oozie.service.HadoopAccessorService.nameNode.whitelist</name>
    <value>mymachine:8020</value>
    
    
    oozie.service.HadoopAccessorService.nameNode.whitelist
    我的机器:8020
    
    oozie.service.HadoopAccessorService.jobTracker.whitelist 我的机器:8021

  • 并重新启动了oozie服务。 3.配置清管器任务时尝试重写“jobTracker”属性。这在工作流文件中显示如下,但是它不生效(或不覆盖),并且仍然使用8032端口

    <global>
                <configuration>
                    <property>
                        <name>jobTracker</name>
                        <value>mymachine:8021</value>
                    </property>
                </configuration>
     </global>
    

    
    求职者
    我的机器:8021
    
    我使用的是CDH4版本


    感谢您研究我的问题。

    我对我们新的cloudera群集和在vmware中运行的本地hadoop box也有同样的问题。 我所做的-我查看Cloudera Manager以查找mapreduce1服务的主机名,并将其放入workflow.properties中的jobTracker属性中,该属性由

    <action name="report">
      <java>
        <job-tracker>${jobTracker}</job-tracker>
        ...
      </java>
    </action>
    
    
    ${jobTracker}
    ...
    

    对于vmware中的本地hadoop box,正确的值为localhost.localdomain

    如果它使用8032,这意味着已为纱线/MR2配置色调。“关于/关于”页面上有任何警告吗?您确定您没有使用MR2而不是MR1吗

    在我的设置中,我只是将其留空:

    <property>
        <name>oozie.service.HadoopAccessorService.jobTracker.whitelist</name>
        <value> </value>
        <description>
            Whitelisted job tracker for Oozie service.
        </description>
    </property>
    
    
    oozie.service.HadoopAccessorService.jobTracker.whitelist
    Oozie服务的白名单工作跟踪器。
    
    谢谢Romain,我没有看到任何相关警告。此外,我确实转到了CM oozie->configuration->Service Wide属性,并确认选中了MR1单选按钮。感谢Oleksii,我在色调中使用工作流编辑器时遇到了这个问题。我无法在那里设置jobTracker属性。我尝试在job.xml中添加这个属性(mapred.job.tracker),但Oozie不允许。