Mapreduce 在oozie作业中获取错误

我有一个WordCount MapReduce作业，当它从hadoop cli运行时，它运行良好并提供了输出。但是当我通过oozie运行作业时，它抛出了一个错误'error:java.io.IOException:map中key的类型不匹配：expected org.apache.hadoop.io.Text，received org.apache.hadoop.io.LongWritable'

这是密码

package Drivers;

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class WordCount extends Configured implements Tool
{

    public static void main(String[] args) throws Exception 
    {
    int res = ToolRunner.run(new Configuration(), new WordCount(), args);
    System.exit(res);
    }

    @Override
    public int run(String[] args) throws Exception 
    {

    Job job = Job.getInstance(getConf(), "Tool Job");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(WordMap.class);
    job.setReducerClass(RedForSum.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    return job.waitForCompletion(true) ? 0 : 1;
    }


    //map method
    public static class WordMap extends Mapper<LongWritable,Text,Text,IntWritable>
    {
        public void map(LongWritable k, Text v,Context con) throws IOException, InterruptedException
        {
            String line=v.toString();
            StringTokenizer t = new StringTokenizer(line);
            while(t.hasMoreTokens())
            {
                String word=t.nextToken();
                con.write(new Text(word),new IntWritable(1));
            }

        }
    }
    //reducer method
    public static class RedForSum extends Reducer<Text, IntWritable,Text,IntWritable>
    {
        public void reduce(Text k, Iterable<IntWritable> vlist, Context con) throws IOException, InterruptedException
        {
            int tot=0;
            for(IntWritable v:vlist)
             tot+=v.get();
            con.write(k, new IntWritable(tot));
        }
    }
}

这是我的错误

错误：java.io.IOException:映射中的键类型不匹配：预期为org.apache.hadoop.io.Text，收到org.apache.hadoop.io.LongWritable 位于org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect（MapTask.java:1072） 位于org.apache.hadoop.mapred.MapTask$NewOutputCollector.write（MapTask.java:715） 位于org.apache.hadoop.mapreduce.task.taskInputOutContextImpl.write（taskInputOutContextImpl.java:89） 位于org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.write（WrappedMapper.java:112） 位于org.apache.hadoop.mapreduce.Mapper.map（Mapper.java:124） 位于org.apache.hadoop.mapreduce.Mapper.run（Mapper.java:145） 位于org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java:787） 位于org.apache.hadoop.mapred.MapTask.run（MapTask.java:341） 位于org.apache.hadoop.mapred.YarnChild$2.run（YarnChild.java:163） 位于java.security.AccessController.doPrivileged（本机方法） 位于javax.security.auth.Subject.doAs（Subject.java:415） 位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1671） 位于org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:158）

有人能告诉我哪里错了吗

---

提前感谢。

问题似乎出在工作流xml中。这里的属性名称应该是

mapreduce.map.class

和

mapreduce.reduce.class

，而不是

mapreduce.mapper.class

和

mapreduce.reducer.class

。因此，修改后的工作流应该具有这些属性

<property>
       <name>mapreduce.map.class</name>
       <value>Drivers.WordCount$WordMap</value>
     </property>
     <property>
       <name>mapreduce.reduce.class</name>
       <value>Drivers.WordCount$RedForSum</value>
     </property>

mapreduce.map.class
Drivers.WordCount$WordMap
mapreduce.reduce.class
Drivers.WordCount$RedForSum

---

有关这方面的更多信息，请参考

如果我更改xml

错误，我将收到以下错误：java.lang.RuntimeException:java.lang.ClassNotFoundException:Class Drivers.WordCount$WordMap未找到

@Ashok应该是

Drivers.WordCount.WordMap

和

Drivers.WordCount.RedForSum

。试试这些值。@Raju Sharma，你说得对。但只有在我将

mapred.mapoutput.key.class

和

mapred.mapoutput.value.class

标记添加到工作流中时，作业才成功完成

mapred.mapoutput.key.class org.apache.hadoop.io.Text mapred.mapoutput.value.class org.apache.hadoop.io.intwriteable

oozie job -oozie http://localhost:11000/oozie -config /home/cloudera/job.properties -run

<property>
       <name>mapreduce.map.class</name>
       <value>Drivers.WordCount$WordMap</value>
     </property>
     <property>
       <name>mapreduce.reduce.class</name>
       <value>Drivers.WordCount$RedForSum</value>
     </property>