Hadoop 如何部署和运行oozie作业?
我想用oozie做一个简单的工作<这将是一个简单的清管器动作 我有一个文件:FirstScript.pig,其中包含:Hadoop 如何部署和运行oozie作业?,hadoop,apache-pig,oozie,Hadoop,Apache Pig,Oozie,我想用oozie做一个简单的工作
dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader();
store dual into 'dummy_file.txt' using PigStorage();
<workflow-app name="FirstWorkFlow" xmlns="uri:oozie:workflow:0.2">
<start to="FirstJob"/>
<action name="FirstJob">
<pig>
<job-tracker>hadoop:50300</job-tracker>
<name-node>hdfs://hadoop:8020</name-node>
<script>/FirstScript.pig</script>
</pig>
<ok to="okjob"/>
<error to="errorjob"/>
</action>
<ok name='okjob'>
<message>job OK, message[${wf:errorMessage()}]</message>
</ok>
<error name='errorjob'>
<message>job error, error message[${wf:errorMessage()}]</message>
</error>
</workflow-app>
以及包含以下内容的workflow.xml文件:
dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader();
store dual into 'dummy_file.txt' using PigStorage();
<workflow-app name="FirstWorkFlow" xmlns="uri:oozie:workflow:0.2">
<start to="FirstJob"/>
<action name="FirstJob">
<pig>
<job-tracker>hadoop:50300</job-tracker>
<name-node>hdfs://hadoop:8020</name-node>
<script>/FirstScript.pig</script>
</pig>
<ok to="okjob"/>
<error to="errorjob"/>
</action>
<ok name='okjob'>
<message>job OK, message[${wf:errorMessage()}]</message>
</ok>
<error name='errorjob'>
<message>job error, error message[${wf:errorMessage()}]</message>
</error>
</workflow-app>
现在呢?
如何部署它并与oozie一起运行有经验的人能帮忙吗 问候
Pawel我是这样做的: 我的cluster_conf.xml如下所示(请先检查您的端口,它们依赖于Hadoop发行版):
名称节点
hdfs://my_nn:8020
求职者
my_jt:8050
oozie.wf.application.path
/user/my\u user/some\u dir/workflow.xml
配置文件应指向job.properties而不是file.xml
。因为,job.properties
包含到workflow.xml
oozie job --oozie http://your_host:11000/oozie -config **/job.properties** -run
嗨,谢谢你的回答。还有两个问题:这个cluster_conf.xml文件是否也应该上传到hdfs?第二:因为我还没有完成安装,我不确定我的oozie安装地址。我怎么能找到它?我知道cluster_conf.xml所需的配置可以在core-site.xml和mapred-site.xml中找到,但oozie没有任何内容……嗨,我很高兴它有所帮助。不,您不需要将这个conf文件复制到hdfs。您可以在Oozie-site.xml;中找到Oozie config;)在我的安装中,它位于/etc/oozie/conf/oozie-site.xml中,只需查找oozie.base.url属性。