Hadoop 当作业的(#个减速机)超过集群的容量时,预期会有什么性能损失?

Hadoop 当作业的(#个减速机)超过集群的容量时,预期会有什么性能损失?,hadoop,Hadoop,我在hadoop的配置文件中为每个节点配置(#个映射器/还原器) 我提交任何MR任务,指定要使用的(#映射器/还原器) 当作业的(#个减速机)超过集群的容量时,预期会有什么性能损失 可能未指定映射器的数量! 设置为运行的映射程序的数量完全取决于 文件大小 块大小 对于您的案例,没有直接的方法来估计性能损失。这取决于还原的类型,并且在很大程度上取决于数据 例如:假设您的数据中有一个还原运行时间过长,那么其他还原程序将完成并开始第二个还原作业。因此,可能在一次大减量发生时完成所有减量

我在hadoop的配置文件中为每个节点配置(#个映射器/还原器)

我提交任何MR任务,指定要使用的(#映射器/还原器)

当作业的(#个减速机)超过集群的容量时,预期会有什么性能损失

  • 可能未指定映射器的数量! 设置为运行的映射程序的数量完全取决于

  • 文件大小
  • 块大小

  • 对于您的案例,没有直接的方法来估计性能损失。这取决于还原的类型,并且在很大程度上取决于数据

    例如:假设您的数据中有一个还原运行时间过长,那么其他还原程序将完成并开始第二个还原作业。因此,可能在一次大减量发生时完成所有减量