如何在Hadoop中的特定IP地址生成映射任务?

如何在Hadoop中的特定IP地址生成映射任务?,hadoop,mapreduce,Hadoop,Mapreduce,是否可以在Hadoop中的特定IP地址(或具有特定机架id的机架中的某个节点)生成映射任务(或内部具有映射任务的TaskTracker)? 如果是,那么请提前感谢 “开箱即用”这是不受支持的,因为其中一个想法是提供分布式处理和故障转移-强制任务在特定节点上运行会否定这些目标 也就是说,可能有一些方法可以实现这一点(例如,我肯定看到人们在有异构集群设置的地方尝试) 您可以在mapper/reducer设置中执行检查,如果任务在您不想要的节点上执行,则引发异常。在作业失败之前,您需要设置最大失败任

是否可以在Hadoop中的特定IP地址(或具有特定机架id的机架中的某个节点)生成映射任务(或内部具有映射任务的TaskTracker)?
如果是,那么请提前感谢

“开箱即用”这是不受支持的,因为其中一个想法是提供分布式处理和故障转移-强制任务在特定节点上运行会否定这些目标

也就是说,可能有一些方法可以实现这一点(例如,我肯定看到人们在有异构集群设置的地方尝试)

  • 您可以在mapper/reducer设置中执行检查,如果任务在您不想要的节点上执行,则引发异常。在作业失败之前,您需要设置最大失败任务数的配置属性。这不是一个很好的解决方案,但我再次看到它的工作
  • 您可能能够实现自己的调度程序(而不是容量或公平调度程序),但我不确定您将拥有多少控制权