Hadoop 如何部署和运行oozie作业?

Hadoop 如何部署和运行oozie作业?,hadoop,apache-pig,oozie,Hadoop,Apache Pig,Oozie,我想用oozie做一个简单的工作

我想用oozie做一个简单的工作<这将是一个简单的清管器动作

我有一个文件:FirstScript.pig,其中包含:

dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader();
store dual into 'dummy_file.txt' using PigStorage();
<workflow-app name="FirstWorkFlow" xmlns="uri:oozie:workflow:0.2">
    <start to="FirstJob"/> 
    <action name="FirstJob">
        <pig>
            <job-tracker>hadoop:50300</job-tracker>
            <name-node>hdfs://hadoop:8020</name-node>
            <script>/FirstScript.pig</script>
        </pig>
        <ok to="okjob"/>
        <error to="errorjob"/>
    </action>
    <ok name='okjob'>    
        <message>job OK, message[${wf:errorMessage()}]</message>
    </ok>    
    <error name='errorjob'>    
        <message>job error, error message[${wf:errorMessage()}]</message>
    </error>    
</workflow-app>
以及包含以下内容的workflow.xml文件:

dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader();
store dual into 'dummy_file.txt' using PigStorage();
<workflow-app name="FirstWorkFlow" xmlns="uri:oozie:workflow:0.2">
    <start to="FirstJob"/> 
    <action name="FirstJob">
        <pig>
            <job-tracker>hadoop:50300</job-tracker>
            <name-node>hdfs://hadoop:8020</name-node>
            <script>/FirstScript.pig</script>
        </pig>
        <ok to="okjob"/>
        <error to="errorjob"/>
    </action>
    <ok name='okjob'>    
        <message>job OK, message[${wf:errorMessage()}]</message>
    </ok>    
    <error name='errorjob'>    
        <message>job error, error message[${wf:errorMessage()}]</message>
    </error>    
</workflow-app>
现在呢? 如何部署它并与oozie一起运行
有经验的人能帮忙吗

问候
Pawel

我是这样做的:

我的cluster_conf.xml如下所示(请先检查您的端口,它们依赖于Hadoop发行版):


名称节点
hdfs://my_nn:8020
求职者
my_jt:8050
oozie.wf.application.path
/user/my\u user/some\u dir/workflow.xml

配置文件应指向job.properties而不是
file.xml
。因为,
job.properties
包含到
workflow.xml

oozie job --oozie http://your_host:11000/oozie -config **/job.properties** -run

嗨,谢谢你的回答。还有两个问题:这个cluster_conf.xml文件是否也应该上传到hdfs?第二:因为我还没有完成安装,我不确定我的oozie安装地址。我怎么能找到它?我知道cluster_conf.xml所需的配置可以在core-site.xml和mapred-site.xml中找到,但oozie没有任何内容……嗨,我很高兴它有所帮助。不,您不需要将这个conf文件复制到hdfs。您可以在Oozie-site.xml;中找到Oozie config;)在我的安装中,它位于/etc/oozie/conf/oozie-site.xml中,只需查找oozie.base.url属性。