Hadoop 旧API转换为新API
因为这个问题的唯一可行答案是 答案是在旧的API中。因此,这迫使我提出一个愚蠢的问题,将这些行翻译成新的API:Hadoop 旧API转换为新API,hadoop,mapreduce,Hadoop,Mapreduce,因为这个问题的唯一可行答案是 答案是在旧的API中。因此,这迫使我提出一个愚蠢的问题,将这些行翻译成新的API: private long mapperCounter; @Override public void configure(JobConf conf) { JobClient client = new JobClient(conf); RunningJob parentJob =
private long mapperCounter;
@Override
public void configure(JobConf conf) {
JobClient client = new JobClient(conf);
RunningJob parentJob =
client.getJob(JobID.forName( conf.get("mapred.job.id") ));
mapperCounter = parentJob.getCounters().getCounter(MAP_COUNTER_NAME);
}
注意:我希望在reducer中使用此代码,因此可用的继承函数包括:
@Override
protected void setup(Context context) throws IOException,
InterruptedException {
}
@Override
protected void cleanup(Context context) throws IOException,
InterruptedException {
}
@Override
public void run(Context context) throws IOException,
InterruptedException {
Job job=new Job(context.getConfiguration());
}
@Override
public void reduce(ImmutableBytesWritable key,Iterable<ImmutableBytesWritable> result,Context context )
{
}
@覆盖
受保护的无效设置(上下文上下文)引发IOException,
中断异常{
}
@凌驾
受保护的空洞清理(上下文上下文)引发IOException,
中断异常{
}
@凌驾
公共void运行(上下文上下文)引发IOException,
中断异常{
Job Job=新作业(context.getConfiguration());
}
@凌驾
公共void reduce(ImmutableBytesWritable键、Iterable结果、上下文)
{
}
谢谢:):)演示文稿总结了新旧API之间的变化。+1提供了一个很好的概述链接,但我希望它只是文本。。。我在其他地方找不到如此简明的参考资料。有人吗?+1并添加为旧API代码段的最爱!