在自适应模式下使用Dask时分配给一个工作者的所有任务
使用Dask时,正常情况下工作正常。然而,当我将Dask与自适应集群一起使用时,我发现有时所有的任务都分配给一个工作者。这是为什么?这应该被视为一个可用性缺陷,提出一个关于它的问题是合理的 然而,要解释发生了什么(至少今天是2018-08-09),可能发生的是在自适应模式下使用Dask时分配给一个工作者的所有任务,dask,Dask,使用Dask时,正常情况下工作正常。然而,当我将Dask与自适应集群一起使用时,我发现有时所有的任务都分配给一个工作者。这是为什么?这应该被视为一个可用性缺陷,提出一个关于它的问题是合理的 然而,要解释发生了什么(至少今天是2018-08-09),可能发生的是 您的计划程序首先没有任务,因此没有为其分配工作人员 当您从客户机提交大量工作时,调度程序会做出响应并请求许多工作人员 第一个工作人员到达,调度器将所有工作交给它 几毫秒后,其他几个工人到达。然后,调度器继续进行可用工作进程之间的负载平衡
dask
和分布式
软件包的版本更新到最新版本,如果这不起作用,请尽可能用最少的示例报告问题