在自适应模式下使用Dask时分配给一个工作者的所有任务

在自适应模式下使用Dask时分配给一个工作者的所有任务,dask,Dask,使用Dask时,正常情况下工作正常。然而,当我将Dask与自适应集群一起使用时,我发现有时所有的任务都分配给一个工作者。这是为什么?这应该被视为一个可用性缺陷,提出一个关于它的问题是合理的 然而,要解释发生了什么(至少今天是2018-08-09),可能发生的是 您的计划程序首先没有任务,因此没有为其分配工作人员 当您从客户机提交大量工作时,调度程序会做出响应并请求许多工作人员 第一个工作人员到达,调度器将所有工作交给它 几毫秒后,其他几个工人到达。然后,调度器继续进行可用工作进程之间的负载平衡

使用Dask时,正常情况下工作正常。然而,当我将Dask与自适应集群一起使用时,我发现有时所有的任务都分配给一个工作者。这是为什么?

这应该被视为一个可用性缺陷,提出一个关于它的问题是合理的

然而,要解释发生了什么(至少今天是2018-08-09),可能发生的是

  • 您的计划程序首先没有任务,因此没有为其分配工作人员
  • 当您从客户机提交大量工作时,调度程序会做出响应并请求许多工作人员
  • 第一个工作人员到达,调度器将所有工作交给它
  • 几毫秒后,其他几个工人到达。然后,调度器继续进行可用工作进程之间的负载平衡
  • 理想情况下,负载平衡启发式应该处理这种情况。在Dask的旧版本中,它的性能不太好,但通常情况下这是好的。我建议首先将您的
    dask
    分布式
    软件包的版本更新到最新版本,如果这不起作用,请尽可能用最少的示例报告问题