Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/typo3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Configuration 我是否可以强制我的还原程序(复制阶段)仅在所有映射程序完成后启动_Configuration_Hadoop_Mapreduce_Hadoop Streaming - Fatal编程技术网

Configuration 我是否可以强制我的还原程序(复制阶段)仅在所有映射程序完成后启动

Configuration 我是否可以强制我的还原程序(复制阶段)仅在所有映射程序完成后启动,configuration,hadoop,mapreduce,hadoop-streaming,Configuration,Hadoop,Mapreduce,Hadoop Streaming,我有一个hadoop作业,有一个相当长的映射阶段,我希望优先运行其他短作业。 为此,我使用hadoop job-set priority job_id LOW设置了长任务的优先级 问题是,对于我的长期工作,即使只完成了30%的映射任务,还原程序的复制阶段也会开始 由于所有reduce插槽都被低优先级作业占用,因此我的网格有点阻塞。 其他小作业可以完成地图阶段,但在我的长作业完成之前,它们永远不会得到任何减速器 有什么想法吗? 谢谢 J.我找到了我问题的答案: 有一个job conf参数正好执行该

我有一个hadoop作业,有一个相当长的映射阶段,我希望优先运行其他短作业。 为此,我使用hadoop job-set priority job_id LOW设置了长任务的优先级

问题是,对于我的长期工作,即使只完成了30%的映射任务,还原程序的复制阶段也会开始

由于所有reduce插槽都被低优先级作业占用,因此我的网格有点阻塞。 其他小作业可以完成地图阶段,但在我的长作业完成之前,它们永远不会得到任何减速器

有什么想法吗? 谢谢
J.

我找到了我问题的答案: 有一个job conf参数正好执行该作业:

mapred.reduce.slowstart.completed.maps=0.90

reduce任务仅在90%的映射完成时启动。 默认值为0.05