Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 为Oozie中的Map Reduce作业指定驱动程序 ${jobTracker} ${nameNode} mapred.input.dir ${inputDir} mapred.output.dir ${outputDir} mapred.job.queue.name ${queueName} mapred.reduce.tasks ${numberofReducers} mapred.reducer.new-api 真的 mapred.mapper.new-api 真的 映射/减少失败,错误消息[${wf:errorMessage(wf:lastErrorNode())}]_Hadoop_Mapreduce_Oozie - Fatal编程技术网

Hadoop 为Oozie中的Map Reduce作业指定驱动程序 ${jobTracker} ${nameNode} mapred.input.dir ${inputDir} mapred.output.dir ${outputDir} mapred.job.queue.name ${queueName} mapred.reduce.tasks ${numberofReducers} mapred.reducer.new-api 真的 mapred.mapper.new-api 真的 映射/减少失败,错误消息[${wf:errorMessage(wf:lastErrorNode())}]

Hadoop 为Oozie中的Map Reduce作业指定驱动程序 ${jobTracker} ${nameNode} mapred.input.dir ${inputDir} mapred.output.dir ${outputDir} mapred.job.queue.name ${queueName} mapred.reduce.tasks ${numberofReducers} mapred.reducer.new-api 真的 mapred.mapper.new-api 真的 映射/减少失败,错误消息[${wf:errorMessage(wf:lastErrorNode())}],hadoop,mapreduce,oozie,Hadoop,Mapreduce,Oozie,我正在尝试使用Oozie运行map reduce作业。有人能告诉我如何在workflow.xml中指定驱动程序吗?{Oozie如何知道要运行哪个映射程序和还原程序?} 可以在不指定以下属性的情况下执行此操作: <workflow-app xmlns='uri:oozie:workflow:0.1' name='map-reduce-wf'> <start to='wordcount'/> <action name='wordcount'>

我正在尝试使用Oozie运行map reduce作业。有人能告诉我如何在workflow.xml中指定驱动程序吗?{Oozie如何知道要运行哪个映射程序和还原程序?}

可以在不指定以下属性的情况下执行此操作:

<workflow-app xmlns='uri:oozie:workflow:0.1' name='map-reduce-wf'>
    <start to='wordcount'/>

    <action name='wordcount'>
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                 <property>
                    <name>mapred.input.dir</name>
                    <value>${inputDir}</value>
                </property>
                <property>
                    <name>mapred.output.dir</name>
                    <value>${outputDir}</value>
                </property>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>mapred.reduce.tasks</name>
                    <value>${numberofReducers}</value>
                </property>
                <property>
                    <name>mapred.reducer.new-api</name>
                    <value>true</value>
                </property>
                <property>
                    <name>mapred.mapper.new-api</name>
                    <value>true</value>
                </property>
            </configuration>
        </map-reduce>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name='end'/>
</workflow-app>

mapred.mapper.class
mapred.reducer.class
org.myorg.WordCount.Reduce

需要告诉Oozie运行哪个映射器/还原器,否则目的是什么?如果不希望将其包含在实际工作流中,可以通过“作业xml”配置将其提交到xml文件中。见下文:


请注意,后面的值会覆盖以前的值。也就是说,如果您配置了两次
mapred.reducer.class
,最后一个条目将被使用

Oozie需要被告知运行哪个映射器/还原器,否则目的是什么?如果不希望将其包含在实际工作流中,可以通过“作业xml”配置将其提交到xml文件中。见下文:

请注意,后面的值会覆盖以前的值。也就是说,如果您配置了两次
mapred.reducer.class
,最后一个条目将被使用

<property>
    <name>mapred.mapper.class</name>
    <value></value>
</property>
<property>
    <name>mapred.reducer.class</name>
    <value>org.myorg.WordCount.Reduce</value>
</property>