Hadoop 如何配置MR作业中的映射以成批执行?

Hadoop 如何配置MR作业中的映射以成批执行?,hadoop,hive,mapreduce,yarn,cloudera,Hadoop,Hive,Mapreduce,Yarn,Cloudera,Map reduce作业生成多个映射器并在纱线中运行。如何批量运行这些映射程序。假设MR作业生成了100个贴图,如何一次只运行10个贴图,以及如何配置前一组完成后拾取的下10个贴图器。 目前,所有映射程序都并行运行。如果您使用的是Hadoop 2.7或更高版本,则可以使用 mapreduce.job.running.map.limit 属性来限制同时运行的映射程序的数量您可能使用Fair Scheduler(参见Cloudera标记)>贿赂管理员为您创建特定的纱线队列,“最大资源”刚好足够容纳1

Map reduce作业生成多个映射器并在纱线中运行。如何批量运行这些映射程序。假设MR作业生成了100个贴图,如何一次只运行10个贴图,以及如何配置前一组完成后拾取的下10个贴图器。
目前,所有映射程序都并行运行。

如果您使用的是Hadoop 2.7或更高版本,则可以使用
mapreduce.job.running.map.limit
属性来限制同时运行的映射程序的数量

您可能使用Fair Scheduler(参见Cloudera标记)>贿赂管理员为您创建特定的纱线队列,“最大资源”刚好足够容纳10个映射程序+1个AppMaster;然后在该特定队列上运行作业。参见
mapreduce.job.queuename下的和