Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/ssh/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 在减速机的配置方法中调用进程或递增计数器_Hadoop - Fatal编程技术网

Hadoop 在减速机的配置方法中调用进程或递增计数器

Hadoop 在减速机的配置方法中调用进程或递增计数器,hadoop,Hadoop,有可能吗 上下文:我的减速器配置方法需要从DistributedCache读取一组文件(总大小约为150MB)。然而,我不知道为什么hadoop花了这么长时间才杀死了一些还原程序,尽管有些还原程序已经成功完成了 我使用旧的API,在那里我只能访问configure方法中的JobConf变量 我的想法是将reporter变量设置为一个字段,然后我可以在configure方法中调用它。但似乎在调用reduce之前就调用了configure。将代码转换为使用新API 然后在setup()中,您可以访问

有可能吗

上下文:我的减速器配置方法需要从DistributedCache读取一组文件(总大小约为150MB)。然而,我不知道为什么hadoop花了这么长时间才杀死了一些还原程序,尽管有些还原程序已经成功完成了

我使用旧的API,在那里我只能访问configure方法中的JobConf变量


我的想法是将reporter变量设置为一个字段,然后我可以在configure方法中调用它。但似乎在调用reduce之前就调用了configure。

将代码转换为使用新API

然后在
setup()
中,您可以访问
上下文变量并调用
progress()
,如下所示:

@Override
        protected void setup(Context context) throws IOException, InterruptedException {
context.progress();
}

将您的代码转换为使用新的API

然后在
setup()
中,您可以访问
上下文变量并调用
progress()
,如下所示:

@Override
        protected void setup(Context context) throws IOException, InterruptedException {
context.progress();
}