Hadoop:如何将任务统一分配给所有节点

Hadoop:如何将任务统一分配给所有节点,hadoop,Hadoop,我希望将任务均匀地分布到所有节点。有什么方法可以控制这一点吗?地图任务将放在离输入数据最近的空闲任务跟踪器上 优先事项是: 同一台机器 同一机架 其他 在大多数情况下,您不必自己担心平衡问题。您无法控制: 执行map和reduce任务的位置 映射和减少任务开始或结束时 map任务或reduce任务处理哪些键和值 但是,您可以控制: reduce任务处理哪些键,以及它们在reduce中出现的顺序(与partiotiner一起) 总之,您不能只平衡map任务,而reduce任务是由框架平衡的

我希望将任务均匀地分布到所有节点。有什么方法可以控制这一点吗?

地图任务将放在离输入数据最近的空闲任务跟踪器上

优先事项是:

  • 同一台机器
  • 同一机架
  • 其他
  • 在大多数情况下,您不必自己担心平衡问题。

    您无法控制:

    • 执行map和reduce任务的位置
    • 映射和减少任务开始或结束时
    • map任务或reduce任务处理哪些键和值
    但是,您可以控制:

    • reduce任务处理哪些键,以及它们在reduce中出现的顺序(与partiotiner一起)
    总之,您不能只平衡map任务,而reduce任务是由框架平衡的