Hadoop 在减速机的配置方法中调用进程或递增计数器
有可能吗 上下文:我的减速器配置方法需要从DistributedCache读取一组文件(总大小约为150MB)。然而,我不知道为什么hadoop花了这么长时间才杀死了一些还原程序,尽管有些还原程序已经成功完成了 我使用旧的API,在那里我只能访问configure方法中的JobConf变量Hadoop 在减速机的配置方法中调用进程或递增计数器,hadoop,Hadoop,有可能吗 上下文:我的减速器配置方法需要从DistributedCache读取一组文件(总大小约为150MB)。然而,我不知道为什么hadoop花了这么长时间才杀死了一些还原程序,尽管有些还原程序已经成功完成了 我使用旧的API,在那里我只能访问configure方法中的JobConf变量 我的想法是将reporter变量设置为一个字段,然后我可以在configure方法中调用它。但似乎在调用reduce之前就调用了configure。将代码转换为使用新API 然后在setup()中,您可以访问
我的想法是将reporter变量设置为一个字段,然后我可以在configure方法中调用它。但似乎在调用reduce之前就调用了configure。将代码转换为使用新API 然后在
setup()
中,您可以访问上下文变量并调用progress()
,如下所示:
@Override
protected void setup(Context context) throws IOException, InterruptedException {
context.progress();
}
将您的代码转换为使用新的API
然后在setup()
中,您可以访问上下文变量并调用progress()
,如下所示:
@Override
protected void setup(Context context) throws IOException, InterruptedException {
context.progress();
}