Configuration 我是否可以强制我的还原程序(复制阶段)仅在所有映射程序完成后启动
我有一个hadoop作业,有一个相当长的映射阶段,我希望优先运行其他短作业。 为此,我使用hadoop job-set priority job_id LOW设置了长任务的优先级 问题是,对于我的长期工作,即使只完成了30%的映射任务,还原程序的复制阶段也会开始 由于所有reduce插槽都被低优先级作业占用,因此我的网格有点阻塞。 其他小作业可以完成地图阶段,但在我的长作业完成之前,它们永远不会得到任何减速器 有什么想法吗? 谢谢Configuration 我是否可以强制我的还原程序(复制阶段)仅在所有映射程序完成后启动,configuration,hadoop,mapreduce,hadoop-streaming,Configuration,Hadoop,Mapreduce,Hadoop Streaming,我有一个hadoop作业,有一个相当长的映射阶段,我希望优先运行其他短作业。 为此,我使用hadoop job-set priority job_id LOW设置了长任务的优先级 问题是,对于我的长期工作,即使只完成了30%的映射任务,还原程序的复制阶段也会开始 由于所有reduce插槽都被低优先级作业占用,因此我的网格有点阻塞。 其他小作业可以完成地图阶段,但在我的长作业完成之前,它们永远不会得到任何减速器 有什么想法吗? 谢谢 J.我找到了我问题的答案: 有一个job conf参数正好执行该
J.我找到了我问题的答案: 有一个job conf参数正好执行该作业: mapred.reduce.slowstart.completed.maps=0.90 reduce任务仅在90%的映射完成时启动。 默认值为0.05