Java Hadoop。如何从Mapper获得作业
我是Hadoop新手。这次我实现了输入关键字的单词计数器。我还了解到使用Java Hadoop。如何从Mapper获得作业,java,hadoop,Java,Hadoop,我是Hadoop新手。这次我实现了输入关键字的单词计数器。我还了解到使用Job类比使用JobConf更好。我有一个主类的代码: ... Configuration conf = new Configuration(); conf.set("keyword", args[0]); Job job = new Job(conf); ... 那么我怎样才能在Mapper中找回我的关键字呢?据我所知,我需要使用getConfiguration()方法获取我的Job对象和JobgetConfigura
Job
类比使用JobConf
更好。我有一个主类的代码:
...
Configuration conf = new Configuration();
conf.set("keyword", args[0]);
Job job = new Job(conf);
...
那么我怎样才能在Mapper
中找回我的关键字呢?据我所知,我需要使用getConfiguration()
方法获取我的Job
对象和Job
getConfiguration
对象,然后调用get(“关键字”)
方法
但是我需要如何从Mapper
类获得Job
谢谢您的时间。在Mapper实现上调用map时,会传递一个上下文对象,该对象公开一个getConfiguration方法。这将为您提供所需的信息。您在conf中设置参数的代码看起来不错 从mapper函数中,您需要执行以下操作:
Configuration conf = context.getConfiguration();
String keyword = conf.get("keyword");
对非常感谢你!而且
Job
真的比JobConf
好,或者我读错了什么?JobConf被弃用,取而代之的是更新的配置类型,所以如果可以的话,你应该使用它而不是JobConf。Job是新API的一部分,JobConf被弃用