Hadoop:如何将任务统一分配给所有节点
我希望将任务均匀地分布到所有节点。有什么方法可以控制这一点吗?地图任务将放在离输入数据最近的空闲任务跟踪器上 优先事项是:Hadoop:如何将任务统一分配给所有节点,hadoop,Hadoop,我希望将任务均匀地分布到所有节点。有什么方法可以控制这一点吗?地图任务将放在离输入数据最近的空闲任务跟踪器上 优先事项是: 同一台机器 同一机架 其他 在大多数情况下,您不必自己担心平衡问题。您无法控制: 执行map和reduce任务的位置 映射和减少任务开始或结束时 map任务或reduce任务处理哪些键和值 但是,您可以控制: reduce任务处理哪些键,以及它们在reduce中出现的顺序(与partiotiner一起) 总之,您不能只平衡map任务,而reduce任务是由框架平衡的
- 执行map和reduce任务的位置
- 映射和减少任务开始或结束时
- map任务或reduce任务处理哪些键和值
- reduce任务处理哪些键,以及它们在reduce中出现的顺序(与partiotiner一起)